50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

15138. Государственное регулирование межрегиональных экономических связей 53.06 KB
  При рассмотрении проблем региональной экономики, поиске путей их решения необходим учет теоретических разработок, касающихся исследований региональных систем в странах с развитой рыночной экономикой
15140. Антонио Гауди-и-Корнет 226.5 KB
  Реферат по истории искусств на тему: Антонио ГаудииКорнет архитектор. Анто́нио Пла́сид Гильем Гауди́иКорне́т исп. Antonio Plácido Guillermo Gaudí y Cornet; кат. Antoni Plàcid Guillem Gaudí i Cornet; 25 июня 1852 Реус Каталония 10 июня 1926 Барселона выдающийся каталонский архитектор бо...
15141. Брестский мир 22.81 KB
  Брестский мир 1918 г. Брестский мир 1918 мирный договор между Россией с одной стороны и Германией АвстроВенгрией Болгарией и Турцией с другой заключён в БрестЛитовск
15142. Василий Иванович Чапаев 19.31 KB
  Василий Иванович Чапаев Василий Иванович Чапаев легендарный полководец начдив командир Красной Армии. Всем нам он хорошо известен по замечательному произведению Дмитрия Фурманова €œЧапаев€ дававшему молодому поколению 20х годов боевую зарядку и стра...
15143. Иван александрович Хлестаков в комедии Ревизор 29.41 KB
  Иван Александрович Хлестаков в комедии Ревизор И.А.Хлестаков появляется в городке в тот момент когда там все ждут появления ревизора. Чиновники испуганы городничему от страха видятся во сне крысы. Степень боязни и страха чиновников пря...
15144. Иван Сергеевич Шмелёв 71.83 KB
  Иван Сергеевич Шмелёв Иван Сергеевич Шмелев родился в Кадашевской слободе Замоскворечья 21 сентября 1873 года. Дед Ивана Сергеевича государственный крестьянин из Гуслиц Богородского уезда Московской губернии поселился в Москве после пожара 1812 г. Отец писателя прин
15145. Наполеон Бонапарт 24.62 KB
  Наполеон Бонапарт Свою профессиональную военную службу начал в 1785 в чине младшего лейтенанта артиллерии; выдвинулся в период Великой французской революции достигнув при Директории чина бригадного после взятия Тулона 17 декабря 1793...
15146. Никита Сергевич Хрущёв 16.63 KB
  Никита Сергевич Хрущёв Первый секретарь ЦК КПСС с 1953 по 1964 годы Председатель Совета Министров СССР с 1958 по 1964 годы. Герой Советского Союза Трижды Герой Социалистического Труда. Первый лауреат Шевченковской премии. Краткая биография Никита Сергеевич Хрущёв родился в ...