50971

Информационная мера Шеннона

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность Дисктретные системы передачи информации Непрерывные системы передачи информации Слайды к лекции Количество информации и избыточность Количество информации и избыточность.

Русский

2014-02-03

440 KB

6 чел.

Курс: Информатика                                     ВМ, САПР, АСОИ, Т28 -2 курс

ЛЕКЦИЯ №4

Тема: Информационная мера Шеннона

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

1.1. Количество информации и избыточность

1.2. Энтропия непрерывных сообщений

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации

  1.  Непрерывные системы передачи информации

Слайды к лекции №4

1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

25852. Бухгалтерский аутсорсинг 29.5 KB
  Успешно осуществляющиеся на западе аутсорсинговые услуги сегодня находят своего потребителя и в Российской Федерации. Передача части работ на аутсорсинг позволяет сократить издержки так как зачастую услуги аутсорсера стоят намного дешевле чем содержание собственного персонала. По договору аутсорсинга как правило передаются такие функции как: поддержка информационных систем локальных сетей webсайта; защита информации; администрирование компьютерных сетей; разработка внедрение и последующее обслуживание корпоративных программных...
25853. Бухгалтерский аутсорсинг 39.5 KB
  Бухгалтерский аутсорсинг от outsource внешний источник или средства замена наемного труда услугами сторонней компанииспециалиста; передача компании бухгалтерской фирме функции ведения бухгалтерского учета бухгалтерское сопровождение В России бухгалтерский аутсорсинг появился сравнительно недавно 78 лет назад. Основными заказчиками бухгалтерского аутсорсинга еще недавно были иностранные организации работающие в Российской Федерации а также совместные предприятия. Однако сейчас все больше и российских организаций пользуются...
25854. Взаимосвязь финансового и управленческого учета 26 KB
  Аналитическая информация управленческого учета используется исключительно для внутреннего управления. Такое подразделение бухгалтерского учета можно объяснить тем что в принципе вся система бухгалтерского учета является составной частью управленческой системы организации. Общепринятые принципы финансового учета могут действовать также и в управленческом учете поскольку руководители предприятий в своей деятельности не могут руководствоваться исключительно непроверяемыми субъективными оценками и мнениями.
25855. Место и роль финансового анализа в управлении финансами банка 25 KB
  В современном коммерческом банке финансовый анализ представляет собой не просто элемент финансового управления а его основу поскольку финансовая деятельность является преобладающей в банке. Содержание место и роль финансового анализа в банковском бизнесе во многом зависят от специфики деятельности кредитных учреждений связанной с производством услуг финансового характера посредничеством между экономическими агентами; высокой степенью зависимости от клиентской базы; возможностью отсрочки неплатежеспособности по своим обязательствам путем...
25856. Методы определения рейтинга банка 23 KB
  проблемные – банки кот имеют до трех недостатков: убыток на отчетную дату несоблюдение норматива достаточности капитала на отчетную дату недовзнос в фонд обязательных резервов.Генеральный коэффициент надежности уставный капитал активы приносящие доход норматив 1.Мгновенной ликвидности наиболее ликвидные активы обязательства до востребования норматив 2.Кросскоэффициент сумма обязательств активы приносящ доход норматив 3.
25857. Методы оценки и защиты от банковских рисков 24.5 KB
  Суть статистических методов оценки риска заключается в определении вероятности возникновения потерь на основе статистических данных предшествующего периода и установлении зоны риска коэффициента риска и т. Аналитические методы позволяют определить вероятность возникновения потерь на основе математических моделей и используются в основном для анализа риска инвестиционных проектов. Возможно использование таких методов как анализ чувствительности метод корректировки нормы дисконта с учетом риска метод эквивалентов метод сценариев....
25860. Оценка соотношения собственных и привлеченных средств банка 23.5 KB
  развитие; фонд основных средств – создается из прибыли как источник приобретения основных средств Эмиссионный доход – источником является средства от продажи акций по цене выше номинала Прибыль – как превышение доходов над расходами банка. Помимо собственных средств банк пользуется привлеченными средствами.Структура обязательств имеет 2 группы: заемные средства – кредиты ЦБ и кредиты др.