50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

38251. Создание предприятия и его регистрации 95 KB
  Предпринимательство – это самостоятельная инициатива, систематическая, на собственный риск, деятельность по производству продукции, выполнению работ, оказанию услуг и занятию торговлей с целью получения прибыли. Предпринимателями могут быть граждане Украины, других государств, юридические лица всех форм собственности установленных Законом «О собственности».
38252. Бухгалтерский баланс 67 KB
  Баланс bislnx это отчёт о финансовом состоянии предпр. Активы это ресурсы контролируемые предпр. Экономическая выгода это потенциальная возможность получения предпр. Таким образом активы это не все ресурсы имеющиеся на предприятии а только те из них которые принесут в будущем эконом.
38253. Хозяйственные операции и их влияние на статьи баланса 68.5 KB
  пополнен резервный капитал за счёт прибыли.100 и увеличилась кредиторская задолженность в расчётах с поставщиками в пассиве стр. Уменьшился текущий счёт в активе стр.230 и уменьшилась кредиторская задолженность в расчётах с поставщиком в пассиве стр.
38254. Счета бухгалтерского учета 191.5 KB
  Простейшая форма счёта самолётик. № счёта Дебет Дт Кредит Кт Для любого счёта приемлемы следующие понятия: Дебет это левая часть счёта в переводе с латыни должен; Кредит это правая часть счёта в переводе с латыни верит; Сальдо Сдо это остаток; Сальдо начальное Сдо нач. операций записанных по дебету счёта за отчётный месяц; Обороты по кредиту ОКт это общая сумма всех хоз. операций записанных по кредиту счёта за отчётный месяц;...