50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

23905. Софокл Трахинянки 17.08 KB
  Знаменит он только тем что в нем прожил свои последние годы величайший из греческих героев Геракл сын Зевса. Почти все греческие герои были царями в разных городах и городках кроме Геракла. Когда Геракл кончил свою подневольную службу он пошел на край Греции свататься к Деянире. Геракл схватился с богом в борьбе придавил его как гора; тот обернулся змеем Геракл стиснул ему горло; тот обернулся быком Геракл сломил ему рог.
23906. Филоктет - характеристика литературного героя 14.8 KB
  Филоктет характеристика литературного героя персонажа Филоктет ФИЛОКТЕТ герой трагедии Софокла Филоктет поставлена в 409 г. создали кроме Софокла и Эсхил и Еврипид обе хронологически предшествовали Софокловой но последние произведения не сохранились. на пути под Трою во время жертвоприношения у Софокла на Хрисе около Лемноса по другим версиям на о. исключительный для Софокла случай наученный Одиссеем выдает себя за жертву Атридов.
23907. Софокл Царь Эдип 16.7 KB
  Назвали мальчика Эдип. Эдип вырос сильным и умным. Эдип был в ужасе.
23908. Софокл Эдип в Колоне 16.43 KB
  Среди этой рощи стоял алтарь в честь героя Эдипа: считалось что этот фиванский герой здесь похоронен и охраняет эту землю. От кровосмесительного брака с матерью у Эдипа были два сына и две дочери: Этеокл и Полиник Антигона и Исмена. Когда Эдип ослепил себя за грехи и ушел от власти оба сына отшатнулись от него.
23909. ОРЕСТ МСТИТ ЗА УБИЙСТВО ОТЦА 14.38 KB
  Это был сын Агамемнона Орест спасенный в день гибели Агамемнона своей няней и воспитанный вдали от родины царем Фокиды Строфием. Только что Орест принес свою жертву отцу как в дверях дворца показались рабыни в черных одеждах. Орест и Пилад поспешно спрятались у могилы и стали смотреть что будут делать рабыни. По сходству их со своими волосами сразу догадалась она что это волосы Ореста.
23910. Эсхил Орестея 22.47 KB
  Но участь его оказалась ужасна а участь сына его Ореста еще ужаснее. Но в живых остается маленький сын Агамемнона и Клитемнестры Орест: чувство матери побеждает в Клитемнестре расчет мстительницы она отсылает его в чужой край чтобы Эгисф не погубил за отцом и сына. Орест растет в далекой Фокиде помышляя только об одном о мести за Агамемнона.
23912. Эсхил Прометей прикованный 16.62 KB
  А затем когда разозленный Зевс не хочет чтобы люди могли варить и жарить доставшееся им мясо и отказывается дать им огонь Прометей похищает этот огонь тайком и приносит людям в полом тростнике. Прометей стал величавей и возвышенней: он не хитрец и вор а мудрый провидец. Само имя Прометей значит Промыслитель.
23913. Аристофан Всадники 16.49 KB
  На сцене их четверо: двух зовут настоящими именами Никий и Демосфен третьего зовут Кожевник настоящее имя ему Клеон а четвертого зовут Колбасник этого главного героя Аристофан выдумал сам. А противник их Клеон он и вправду был ремесленникомкожевником требовал добить врага и продолжать войну до победы. Итак на сцене дом хозяина Народа а перед домом сидят и горюют два его рабаприслужника Никий и Демосфен: были они у хозяина в милости а теперь их оттер новый раб негодяй кожевник. Тот хлебает а кожевнику бросает все лакомые...