50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

390. За что я люблю машины. История создания автомобиля 427 KB
  РАССКАЗАТЬ О СВОЕЙ ЛЮБВИ К АВТОМОБИЛЯМ. ПОДРОБНЕЕ УЗНАТЬ ИСТОРИЮ СОЗДАНИЯ АВТОМОБИЛЯ. ПОДТВЕРДИТЬ МЫСЛЬ О ТОМ, В СОВРЕМЕННОМ МИРЕ ЖИЗНЬ БЕЗ АВТОМОБИЛЕЙ УЖЕ НЕВОЗМОЖНА. ЧТО ПРИВОДИТ АВТОМОБИЛЬ В ДВИЖЕНИЕ.
391. Проблемы экономической безопасности России 128 KB
  Ключевые тенденции проблематики экономической безопасности. Прикладные аспекты экономической безопасности. Глобализация как угроза экономическому суверенитету государства. Методика определения ключевых проблем экономической безопасности.
392. Объекты промышленной интеллектуальной собственности 62.5 KB
  Объект интеллектуальной собственности, цели и задачи, на решение которых направлен объект. Сравненительный анализ разработанного объекта и прототипа. Разработка объекта промышленной собственности.
393. Коммуникативная компетенция учителя иностранного языка 96 KB
  Теоретические аспекты формирования коммуникативной компетенции в рамках педагогического процесса. Лингвистическая компетенция как одна из составляющих иноязычной коммуникативной компетенции. Коммуникативная компетенция как новый тип содержания образования в школе.
394. Теория дизайна 222 KB
  История понятие термина дизайн. Промышленный и транспортный дизайн. Колористика и суперграфика. Визуальная идентификация, товарные знаки, визуальные коммуникации и ландшафтный дизайн. Примеры дизайна квартир.
395. Денежная масса и скорость обращения денег 62 KB
  Деньги являются важнейшим атрибутом рыночной экономики. Налично-денежное обращение - движение наличных денег в сфере обращения и выполнение ими двух функций (средства платежа и средства обращения).
396. М.В. Исаковский на Смоленщине 297.56 KB
  Связь биографии поэта с историей народа и страны. Народность песенного творчества М.В. Исаковского. Отражение в лирике М. В. Исаковского черт русского национального характера.
397. Электрический ток в различных средах 333 KB
  Электрический ток в металлах. Носителями зарядов являются положительные ионы и электроны. Рекомбинация заряженных частиц. Самостоятельный электрический разряд. Электрический ток в полупроводниках.
398. Алгоритм микропроцессорного комплекта К580 62.5 KB
  На вход поступает двух проводная линия, по которой поступает параллельный 8-ми разрядный код. Состав кристаллов: ВМ80, ВВ51, ВИ53, ПЗУ/ОЗУ. Посчитать коэффициент преобразования входной величины в выходную.