50971

Информационная мера Шеннона

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность Дисктретные системы передачи информации Непрерывные системы передачи информации Слайды к лекции Количество информации и избыточность Количество информации и избыточность.

Русский

2014-02-03

440 KB

7 чел.

Курс: Информатика                                     ВМ, САПР, АСОИ, Т28 -2 курс

ЛЕКЦИЯ №4

Тема: Информационная мера Шеннона

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

1.1. Количество информации и избыточность

1.2. Энтропия непрерывных сообщений

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации

  1.  Непрерывные системы передачи информации

Слайды к лекции №4

1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

8396. Местоимения китайского языка 30 KB
  Местоимения китайского языка Личные местоимения Единственное число 1-е лицо [w] я 2-е лицо ты ? [n?n] Вы Вам(не имеет множественного числа) 3-е лицо он она оно, он, она (для неодушевленных предметов) Множественное чи...
8397. Мировые экономические отношения 142.5 KB
  Коренная причина возникновения и развития международных экономических отношений - это различия в наделенности стран факторами производства (экономическими ресурсами). С одной стороны, это ведет к международному разделению труда. С другой сторо...
8398. Чайное чувство. Особенности выращивания и разновидности чая в Китае 380 KB
  Чайное чувство. Содержание: Введение. Часть. От земли к небу. Растение чай. Виды китайского чая. Чай и вода. О пользе чая. Атмосфера чая: природа, образы и творения рук человеческих. Приготовление чая. Технич...
8399. История литературы Китая 121.41 KB
  История литературы Китая Литература Китая и вэнь Литературное творчество осмыслялось в Китае в рамках архаико-религиозных воззрений на вэнь и натурфилософских представлений, вэнь - это словесный узор. Исходная семантика вэнь - пиктограмма, и...
8400. Индия, Пакистан, Китай после Второй мировой войны 45 KB
  Индия, Пакистан, Китай после Второй мировой войны Завоевание Индией независимости. Развитие Индии и Пакистана. После окончания Второй мировой войны Индия переживала подъем национально-освободительного движения. Английские власти, стараясь у...
8401. Турция, Китай, Индия, Япония 40 KB
  Турция, Китай, Индия, Япония В колониях и зависимых странах под влиянием революционных событий в России все шире разворачивалась борьба за национальную независимость. В ходе этой борьбы ставились вопросы не только освобождения, но и обновления об...
8402. Китай в ХХ веке 55 KB
  Китай в ХХ веке. Версальский мирный договор 1919г., санкционировавший право Японии на германские владения в Шаньдуне, вызвал волну возмущения в Китае, надеявшимся стать союзником для держав Антанты в 1-й мировой войне. 4 мая 1919г....
8403. Периодизация истории и культуры Древнего Китая 196.5 KB
  Периодизация истории и культуры Древнего Китая Древнейший период - V - III тыс. до н.э. Период Шань-Инь - сер. II тыс. до н.э. (XVI - XI вв. до н.э.), I китайское государство Периоды Чжоу и Чжаньго XI...
8404. Современный Китай: тенденции развития экономики и политики. 119.5 KB
  Современный Китай: тенденции развития экономики и политики. Борьба за реформы и перестановки в КПК. Основные аспекты политической и экономической безопасности КНР. Китай, несмотря на его гигантские успехи в развитии экономики, - остается...