50969

ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность. Пусть и случайные величины с множествами возможных значений Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли: . Имеются два источника информации алфавиты и...

Русский

2014-02-03

431 KB

3 чел.

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

52538. Дитинство Ісуса Христа 116 KB
  Мета: ознайомити учнів з дитинством Спасителя, вказуючи на Його чесноти; розвивати бажання брати собі за взірець Христа; виховувати послух, покірність та повагу до батьків.
52539. Всі ми родом із дитинства 97 KB
  Евеліна Хромченко Дитинство Дитинствоказка мов чарівна мить Там завжди сонячно і світло. Надія Красоткіна Дитинство це коли день починається з першим променем сонця звуком тихих маминих кроків запахом теплого хліба співом птахів і триває довгодовго це коли дерева великі а ти внизу і помічаєш так багато: і мурашки і бджолу на квітці і пухнасту гусеницю і чуєш як росте трава і можеш залізти на найвище дерево і переплести саму широку річку і все можеш зробити сам. Варто подумати про дитинство і пам’ять підкине дивні...
52540. Свято здоровя 43 KB
  Підвищувати відповідальність за особисте здоровя, здоровя родини; пропагувати і заохочувати до співпраці дітей та батьків; розвивати і зміцнювати в учнів почуття прекрасного в побуті, працьовитість, повагу до звичаїв і традицій рідного народу; виховувати повагу в особистих стосунках, почуття колективізму та взаємодопомоги.
52541. Сценарій свята для учнів 2-х класів «Різдвяне диво» 81 KB
  Заходять колядники звіздар ангел зірка коза дохтур Звіздар. Де коза ходить там жито родить Де коза ногою там жито копою Де коза рогом там жито стогом. Коза скаче а потім падає Пуць Коза впала нежива стала Ой Ой Яка добра тваринка була Що ж то робити Усі. Де тут хто тут пацієнт Виліковую в момент Робить козі укол коза оживає встає танцює танець всі плескають у долоні Усі.
52542. Ти наше диво калинове, кохана українська мово 61 KB
  Ведуча Мова А що таке мова Народ говорить слово до слова зложиться мова а Т . Ведучий Найбільше і найдорожче добро кожного народу – це його мова ота жива схованка людського духу його багата скарбниця в яку народ складає і своє давнє життя і свої сподіванки розум досвід почуття. Добута з надр далеких поколінь Ти – скарб наш вічний українська мова. Мова ...
52543. ДИВОСВІТ. Методичні рекомендації 8.27 MB
  Методичні рекомендації «Дивосвіт» вихователя Менського дошкільного закладу «Сонечко» Шевель Наталії Володимирівни допоможуть педагогічним працівникам дошкільних закладів у створенні та облаштуванні розвивального простору в групах дошкільних навчальних закладів.
52544. Методичний проект «Центр дитячої творчості Дивосвіт як заклад життєвої компетентності» 58.5 KB
  Підвищити рівень орієнтованності навчально виховного процесу закладу на розвиток життєвої компетентності особистості учня. Націлити педагогів закладу до розробки та впровадження авторських програм навчальних посібників нового покоління 3. Переорієтнувати виховну систему закладу відповідно до вимог часуформування через освіту здорового способу життя дітей та молоді інтеграцію освіти до європейського та світового освітнього простору 5.
52545. Україно! Мій духмяний дивоцвіт 53 KB
  Разом: Збулося Хлопчик: 24 серпня 1991 року Верховна Рада України урочисто прийняла Акт проголошення України незалежною самостійною демократичною державою. На цьому шляху загинула незліченна кількість кращих синів і дочок України які відстоювали її незалежність. Шлях України позначений високими степовими могилами руїнами та прекрасними безіменними невідомо коли і ким складеними піснями. Хлопчик: Народе України Твоєю силою волею.
52546. Внутрішні гіперпосилання на веб-сторінках 107.5 KB
  Ввести поняття внутрішнього посилання, ознайомити з правилом запису внутрішнього посилання, навчити учнів створювати внутрішні гіперпосилання на веб-сторінці, розвивати пізнавальну активність, вміння індивідуально працювати за комп’ютером, виховувати інтерес до інформатики і біології, формувати інтерес учнів до природи рідного краю і питань збереження рослин.