50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

31900. БУХГАЛТЕРСКИЙ УЧЕТ. УЧЕБНОЕ ПОСОБИЕ 4.9 MB
  Активы организации по видам подразделяются на а имущество; б нематериальные активы; в предметы труда; г права; д активы сферы обращения; е денежные средства; ж текущие активы; з средства в расчетах. К долгосрочным активам относятся а предметы труда; г долгосрочные финансовые вложения; б основные средства; д предметы обращения; в нематериальные активы; е средства в расчетах. К средствам в расчетах относят а задолженность покупателей; б денежные средства на расчетном счете; в краткосрочные финансовые вложения. К обязательствам...
31902. Расчет регулируемого электропривода 840.5 KB
  Предварительная мощность двигателя Предварительная мощность двигателя рассчитывается по нагрузочной диаграмме и тахограмме рабочей машины по формуле: где коэффициенты учитывающие соответственно пульсирующий характер питающего напряжения; возможный режим ослабления магнитного потока двигателя; динамические нагрузки двигателя в переходных процессах. Окончательный выбор двигателя и редуктора По вычисленному расчетному значению мощности выбирам двигатель согласно условию: при . Д810Uн=220В Рнд=29кВт...
31906. Интернет-продвижение коммерческой организации (на примере ООО «Элстрой-НН») 533 KB
  5 1 Деятельность коммерческих В2Ворганизаций в условиях развития сети Интернет10 Интернет как новая коммуникативная среда.10 Продающие возможности сети Интернет.14 Роль Интернета в сфере В2Вторговли.32 Исследование отношения пользователей к различным видам Интернетрекламы.