50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

76711. Наркомания. Влияние наркотиков на организм человека 36.46 KB
  Злоупотребление наркотиками, известное с древнейших времен, сейчас распространилось в размерах, тревожащих всю мировую общественность. Даже при сужении, с точки зрения наркологов, границ наркомании до юридически приемлемых, во многих странах наркомания признана социальным бедствием.
76712. Ионизирующие излучения. Источники радиоактивного облучения 55.76 KB
  Человек испытывает облучение двумя способами - внешним и внутренним. Если радиоактивные вещества находятся вне организма и облучают его извне, то в этом случае, говорят о внешнем облучении.
76713. Основные виды страховых услуг в сфере страхования жизни 94.5 KB
  Особенности страхования жизни заключаются в обеспечении приемлемых доходов, уровня и качества жизни людей при наступлении случайных событий с неблагоприятными и благоприятными последствиями, именуемых страховыми случаями.
76714. Здоровье – понятие и его показатели 35.92 KB
  В научной литературе одновременно используют не только разные определения, но и различные подходы к их формулировке. Больше всего определений, рассматривающих здоровье человека как какой-то функциональный оптимум, как гармонию всех частей организма.
76715. Физическая культура и спорт как социальные феномены общества 111.05 KB
  Поскольку молодое поколение у нас занято в профессионально-образовательной сфере, его самостоятельность следует понимать особым образом, а именно как самостоятельность действий и самостоятельность мышления, тесно между собой связанные.
76717. Антивирусы 31.64 KB
  Антивирусное ПО, пришлось ждать не долго, оно появилось сразу после появления первых вредоносных программ. В нынешний момент над разработкой антивирусных программ трудятся целые корпорации во главе с тысячами людей...
76718. «Августовский путч» и его влияние на развал СССР 99.5 KB
  События 19-20 августа 1991 года занимают особое положение в отечественной литературе. С одной стороны, можно констатировать, что тема не обделена вниманием, а с другой - то, что преобладают издания мемуарного и публицистического плана, где, хотя и освещаются многие важнейшие...
76719. Индустриализация СССР: достижения и противоречия 92 KB
  В актуальности выбранной темы нет сомнений, так как в истории появляются все новые и новые материалы. И не все опираются на глубокие знания сложного переплетения исторических событий и фактов. И тема индустриализации обсуждается, многие ее аспекты рассматриваются по-иному.