50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

44949. Работа с EEPROM памятью данных 61.93 KB
  Поставим перед собой достаточно простую и конкретную задачу (что-то типа задания на первоначальную разработку). Допустим, что в ходе исполнения программы нужно изменить (модифицировать) содержимое пяти ячеек EEPROM памяти, начиная с адреса 7. Для простоты модификации (и для обеспечения наглядности наблюдения за происходящими в EEPROM памяти изменениями) к первому числу (по адресу 7) необходимо добавить 1...
44950. Однокристальные микроконтроллеры серии PIC 231 KB
  Микроконтроллеры семейств PIC (Peripheral Interface Controller) компании Microchip, обладающие особой популярностью, построены на основе передовых технологий микроконтроллеров. Им свойственны следующие особенности: электрически программируемые пользователем ППЗУ, минимальное энергопотребление, высокая производительность, хорошо развитая RISC-архитектура
44952. Автоколебательный мультивибратор 33.87 KB
  Проанализируем нашу программу, реализующую функцию автоколебательного мультивибратора, с одним выходом. Форма сигнала меандр (скважность, т.е. отношение периода к длительности импульса – 2). Под этот выход можно назначить любой из выводов порта А или В...
44953. Устройство формирования сигнала тонального вызова 87.52 KB
  Полупериоды формируем используя €œзакольцовку рабочей точки программы в подпрограммах задержки по аналогии с программой Multi. К моменту начала составления текста программы желательно определиться с как можно большим количеством исходных данных. Так как программа должна исполняться непрерывно то в случае нахождения устройства в режиме ожидания включения на передачу рабочая точка программы должна €œзакольцеваться€ до последующего нажатия на кнопку в какой-нибудь подпрограмме. Часто такого рода закольцовки осуществляют в...
44954. Сканирование с прерыванием 110.21 KB
  Определимся с терминологией применяемой при описании программы работы устройства. Для удобства объяснения и восприятия целесообразно разделить рабочую часть программы на две части. Условимся называть группу команд в которой осуществляется сканирование каналов на наличие сигнала прерывания “основным телом†программы а часть которая отрабатывается после ухода в прерывание как подпрограмму прерывания. Следовательно речь идет о необходимости “ухода†рабочей точки программы на время наличия сигнала прерывания в подпрограмму...
44956. Индивидуальные и общественные потребности 35 KB
  Индивидуальные и общественные потребности Общество состоит из индивидов имеющих свои биологические особенности состояние здоровья особенности физиологических процессов в организме различия в строении и функционировании нервной системы которые определяют природные задатки человека. В простейшем случае общественные потребности представляют собой просто сумму потребностей индивидуальных. В более сложных случаях общественные потребности выходят за пределы индивидуальных и не сводятся к их сумме. Томас Гоббс считал что государство необходимо...
44957. Потребности в общении, самореализации, собственности и статусе. Смысл богатства 35.5 KB
  Любой человек будет испытывать дискомфорт когда блокирована его потребность в Познании например когда долгое время нет доступа к новой информации.Потребность в общении Человек испытывает потребность поделиться е другими своими мыслями и чувствами читать газеты книги и журналы смотреть кинофильмы в спектакли слушать музыку и т. Следует особо выделить такую духовную потребность как потребность в общении с другими людьми. Возникшая на заре человеческого общества потребность в общении породившая язык как средство общения была наряду с...