50969

ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность. Пусть и случайные величины с множествами возможных значений Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли: . Имеются два источника информации алфавиты и...

Русский

2014-02-03

431 KB

3 чел.

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

43546. Расчет и регулирование дебита скважин 50.5 KB
  Скважины эксплуатируются при постоянном забойном давлении Рс. Исходные данные в соответствии с вариантом Горизонтальный однородный пласт имеет радиус контура питания: Rк = м; Залежь водоплавающая; Пористость m = ; Температура 0С; Давление устьевое при остановке добычи варианты для добычи нефти ат; Разность давлений пластового и забойного варианты для добычи газа ат; Пластовое давление ат; Глубина м; Мощность пласта: b = м; Коэффициент пористости пласта: m = ; Коэффициент проницаемости...
43547. Разработка стратегии обслуживающей организации на примере центра по обучению иностранным языкам 269.5 KB
  Ввиду отсутствия осязаемых характеристик услуги до ее покупки степень неопределенности приобретения увеличивается. Чтобы ее сократить, покупатели ищут "сигналы" качества услуги. Свои выводы относительно качества они делают исходя из места, персонала, цены, оборудования и средства предоставления услуги, которые они могут видеть.
43548. Геоинформационная система г. Барнаула 554 KB
  Работа с готовым ГИС-проектом осуществляется посредством специального гибкого инструмента запросов. Запрос на получение информации об объектах векторной карты составляется пользователем с помощью специальных условий, по которым ArcView определяет круг объектов, атрибуты которых удовлетворяет заданным условиям. Условия могут быть по нескольким параметрам, т.е. вложенными, но не должны взаимно исключать друг друга
43549. Контроль толщины металлических пленок в процессе изготовления и в готовых структурах 1.5 MB
  При измерении толщины пленки взвешиванием считают, что плотность нанесенного вещества равна плотности массивного. Под эффективной толщиной пленки понимают толщину, которую она имела бы, если бы образующее ее вещество было равномерно распределено по поверхности с плотностью, равной плотности массивного вещества.
43550. Організація будівництва 5-ти поверхового, 2-х секційного, 60-ти квартирного житлового будинку 139.72 KB
  Мета технологичного проектування – знаходження оптимальних технологічних рішень і організаційних умов для виконання будівельних процесів, які забезпечують випуск будівельної продукції в задані строки при мінімальному використанні усіх видів ресурсів.
43551. Статистический анализ факторов, обуславливающий эффективность производства и реализации зерна 252 KB
  Экономико статистический анализ производства и реализации зерна. Показатели эффективности производства и реализации зерна. Прогнозирование основных показателей эффективности производства зерна. Статистический анализ факторов обуславливающий эффективность производства и реализации зерна.
43552. Організація будівництва автомобільної дороги 937 KB
  Обґрунтування строку виконання робіт та визначення змінного темпу будівництва. Вибір метода організації дорожньобудівельних робіт . Визначення обсягів дорожньобудівельних робіт за їх видами . Організація матеріальнотехнічного забезпечення дорожньобудівельних робіт.
43553. Проект Внутрігосподарського землеустрою СВК „Надія” 236.5 KB
  Ружинський район входить до складу лісостепової зони України, яка характеризується достатньою кількістю опадів, помірною зимою, досить теплим літом. Переважаючі вітри: влітку – південно західні, взимку – східні та південно-східні.
43554. Тепловой расчет конвективной туннельной сушильной установки 3.04 MB
  Выполнить тепловой расчет конвективной туннельной сушильной установки, определить длительность сушки, размеры установки, выбрать вентилятор для подачи наружного воздуха, дымосос и циклон, на основании следующих данных.