50971

Информационная мера Шеннона

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность Дисктретные системы передачи информации Непрерывные системы передачи информации Слайды к лекции Количество информации и избыточность Количество информации и избыточность.

Русский

2014-02-03

440 KB

7 чел.

Курс: Информатика                                     ВМ, САПР, АСОИ, Т28 -2 курс

ЛЕКЦИЯ №4

Тема: Информационная мера Шеннона

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

1.1. Количество информации и избыточность

1.2. Энтропия непрерывных сообщений

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации

  1.  Непрерывные системы передачи информации

Слайды к лекции №4

1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

32587. Учет нематериальных активов и их амортизации 43 KB
  2000 91н для признания НМА необходимо следующие условия: Способность приносить организации экономические выгоды доход более 12 месяцев; Наличие надлежаще оформленных документов подтверждающих существование самого актива и или исключительного права у налогоплательщика на результаты интеллектуальной деятельности патенты свидетельства и т. К НМА относятся: исключительные права: патентообладателя на изобретение промышленный образец полезную модель; автора или иного правообладателя на использование программы на ЭВМ базы данных;...
32588. Учет прибылей и убытков, нераспределенной прибыли (непокрытого убытка) 34 KB
  Помимо этого счет 99 Прибыли и убытки предусматривает отражение данных о начисленных суммах налога на прибыль и суммах перерасчета по этому налогу а также суммы причитающихся налоговых санкций. Таким образом на счете 99 определяется чистая прибыль или убыток организации за отчетный период месяц квартал полугодие и т. чистая прибыль убыток переносится в кредит счета 84 Нераспределенная прибыль непокрытый убыток как чистая прибыль или в дебет этого счета как непокрытый убыток. № 43н непокрытый убыток выявленный на счете 99...
32589. Учет продажи готовой продукции (работ‚ услуг) 41.5 KB
  На этом счете отражаются в частности выручка и себестоимость по: готовой продукции и полуфабрикатам собственного производства; работам и услугам промышленного характера; работам и услугам непромышленного характера; покупным изделиям приобретенных для комплектации. По кредиту счета 90 Продажи отражается выручка от продажи продукциив корреспонденции со счетом 62 Расчеты с покупателями и заказчиками а по дебету плановая себестоимость еев течение года когда фактическая себестоимость не выявлена и разница между плановой и...
32590. Учет прочих доходов и расходов 43 KB
  Счет 91 Прочие доходы и расходы предназначен для обобщения информации о прочих доходах и расходах отчетного периода. По кредиту счета 91 Прочие доходы и расходы отражаются: поступления связанные с продажей и прочим списанием основных средств и иных активов продукции товаров; проценты полученные подлежащие получению за предоставления в пользование денежных средств организации а также проценты за использование кредитной организацией денежных средств находящихся на счете организации в этой кредитной организации; штрафы пени...
32591. Учет и распределение общепроизводственных и общехозяйственных расходов 29 KB
  К общепроизводственным расходам относят расходы связанные с организацией производства и управлением отдельной отрасли производства ищи подразделения. К общехозяйственным расходам относят расходы связанные с организацией производства и управлением хозяйства в целом. Учёт данных расходов ведётся на счете 25 Общепроизводственных расходы и счете 26 Общехозяйственные расходы.
32592. Учет доходов и расходов 33.5 KB
  В состав расходов связанных с производством и реализацией продукции работ услуг крестьянские фермерские хозяйства включают: стоимость израсходованных покупных семян кормов запасных частей и материалов удобрений нефтепродуктов сырья услуг других хозяйств агросервисных и других сторонних предприятий и организаций; амортизационные отчисления на полное восстановление основных средств и расходы по всем видам ремонта основного имущества; уплаченные в бюджет налоги кроме налогов относимых на финансовые результаты деятельности;...
32593. Учет расчетов по налогам и сборам 37 KB
  База налогообложения налоговые ставки налоговые льготы сроки уплаты и льготы по налогообложению устанавливаются Налоговым Кодексом РФ и действующим законодательством. Расчет сумм налогов и сборов подлежащих уплате в бюджет производится на основании налоговых деклараций. Расчеты с бюджетом по налогам и сборам это один из самых ответственных и трудоемких участков работы.
32594. Учет расчетов по социальному страхованию и обеспечению 34 KB
  Для расчетов такого типа предусмотрен счет 69 Расчеты по социальному страхованию и обеспечению. Счет 69 Расчеты по социальному страхованию и обеспечению предназначен для обобщения информации о расчетах по социальному страхованию пенсионному обеспечению и обязательному медицинскому страхованию работников организации. К счету 69 Расчеты по социальному страхованию и обеспечению могут быть открыты субсчета: 691 Расчеты по социальному страхованию 692Расчеты по пенсионному обеспечению; 693 Расчеты по обязательному медицинскому...
32595. Учет расчетов с персоналом по оплате труда 47.5 KB
  Для учета личного состава начисления и выплат заработной платы используют унифицированные формы первичных и учетных документов. В лицевые счета записывают необходимые сведения о работнике все виды начислений и удержаний из заработной платы за каждый месяц. Независимо от формы первичные документы содержат в себе как правило следующие реквизиты: место работы время работы дата наименование и разряд работы операции количество и качество работы фамилии инициалы табельные номера и разряды рабочих нормы времени и расценки за единицу...