50969

ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА

Лекция

Информатика, кибернетика и программирование

Количество информации и избыточность. Пусть и случайные величины с множествами возможных значений Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли: . Имеются два источника информации алфавиты и...

Русский

2014-02-03

431 KB

3 чел.

Лекция №4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

 1.1.  Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.  

Пусть  и  - случайные величины с множествами возможных значений  

Количество информации  при наблюдении случайной величины  с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

.

Справедливы следующие соотношения:

1)

2)  

3)  если  и  - независимы.

Избыточностью называется

Рассмотрим примеры.

 Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

 

Определить, какой источник дает большее количество информации, если

1)  2)

 Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для  и  имеем

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

с учетом условия задачи имеем

С другой стороны,

Поскольку

  то

 Пример 2. Источник сообщений выдает символы из алфавита   с вероятностями     Найти количество информации и избыточность.

 Решение. По формуле Шеннона

(бит).

По определению избыточности

 


1.2. Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале  представляют собой некоторые непрерывные функции времени.

Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - плотность вероятности ансамбля входных сообщений,  - плотность вероятности ансамбля выходных сообщений

Формулы для энтропии  непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если  - интервал квантования (точность измерения), то при достаточно малом  энтропия непрерывных сообщений

где  По аналогии

Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы  распределенные по нормальному закону с математическим ожиданием  и дисперсией

Определить энтропию  сигнала при точности его измерения  

 Решение. По условию плотность вероятности сигнала

Подставляя числовые значения, получаем

дв. ед.

2. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

2.1. Дисктретные системы передачи информации.

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией величин  и  называется

Справедливы следующие соотношения:

  

 

Если  и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности  

3) формула Байеса

Рассмотрим пример.

 Пример 1. Дана матрица

,  .

Определить:      

 Решение. По формуле полной вероятности имеем:  

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

 

2.2. Непрерывные системы передачи информации.

 Пусть  - реализации непрерывного сообщения на входе какого-либо блока схемы связи,  - реализация выходного сообщения (сигнала),  - одномерная плотность вероятности ансамбля входных сообщений,  - одномерная плотность вероятности ансамбля выходных сообщений,  - совместная плотность вероятности,  - условная плотность вероятности

при известном  Тогда для количества информации  справедливы следующие соотношения:

 

,

 

Здесь  - взаимная информация между каким-либо значением входного и значением выходного сообщений,   - средние значения условной информации,  - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

 

Когда  и  статистически связаны между собой, то

При независимых  и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

 Пример 1. На вход приемного устройства воздействует колебание  где сигнал  и помеха  - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно  и

Определить: 1) количество взаимной информации  которое содержится в каком-либо значении принятого колебания  о значении сигнала  2) полную среднюю взаимную информацию

 Решение. По условию задачи  представляет собой сумму независимых колебаний  и  которые имеют нормальные плотности вероятности. Поэтому

 

1. Количество информации определяется по формуле:

 

2. Полная средняя взаимная информация:

где  - знак усреднения по множеству.

Таким образом,

дв. ед.


 

А также другие работы, которые могут Вас заинтересовать

21863. Управление геомеханическими процессами при системах с искусственным поддержанием выработанного пространства: с закладкой выработанного пространства 344 KB
  Для поддержания подрабатываемого массива горных пород выработанное пространство вслед за выемкой руды или через некоторое время заполняется закладочным материалом. Для повышения плотности создаваемого искусственного массива специально подбираются крупность кусков и фракционный состав смесей. Для достижения высокой плотности закладочного массива рекомендуется принимать максимальный размер куска не более 250 300 мм при этом содержание мелких частиц должна быть до 10 15 а фракция от О до 20 мм до 30. Усадка закладочного массива в первом...
21864. Организация процесса разработки управленческого решения 95.5 KB
  Демократизация разработки решений; 5.1 Логические схемы деятельности в процессе разработки решения Методы принятия решений направленных на достижение намеченных целей могут быть различными: 1 метод основанный на интуиции управляющего которая обусловлена наличием у него ранее накопленного опыта и суммы знаний в конкретной области деятельности что помогает выбрать и принять правильное решение; 2 метод основанный на понятии здравого смысла когда управляющий принимая решения обосновывает их последовательными...
21865. Целевая ориентация управленческих решений 126 KB
  Взаимосвязи в системе целей Фундаментальные цели определяют общую направленность деятельности организации являются исходным пунктом построения дерева целей организации. Эти цели не всегда ясны даже высшим менеджерам а тем более персоналу. Тактические цели: обеспечивают перевод стратегических целей в термины и показатели которые могут быть использованы при принятии решений; имеют своей основой стратегические цели направленные на их поддержку; более конкретны чем стратегические цели. Операционные цели являются еще более...
21866. Анализ внешней среды и ее влияние на реализацию альтернатив 71 KB
  С этого периода связь фирмы с внешней средой стала рассматриваться как одна из главнейших ее характеристик. Внешняя среда фирмы предприятия или организации это совокупность активных субъектов и сил действующих за их пределами не поддающихся контролю со стороны фирмы предприятия или организации и влияющих на возможности фирмы предприятия или организации устанавливать и поддерживать отношения с субъектами внешнего окружения для достижения своих стратегических целей. Внешняя среда фирмы достаточно разнородна.2 Среда прямого воздействия К...
21867. Условия неопределенности и риска 55.5 KB
  Условия неопределенности и риска.3 Виды и условия предпринимательского риска; 8. По критерию определенности информации различают решения принятые в условиях: а определенности б вероятностной определенности риска в неопределенности ненадежности. В отечественной экономике на данном этапе ее развития риск особенно вероятен вследствие неуменьшающейся неопределенности политической ситуации неустойчивости экономической среды отсутствия гарантии получения ожидаемого результата Природа риска в рыночной экономике...
21868. Приемы разработки и выборов управленческих решений в условиях неопределенности и риска 56.5 KB
  Приемы разработки и выборов управленческих решений в условиях неопределенности и риска.1 Управление риском; 9.2 Классификация рисков; 9.3 Руководители по отношению к риску; Разработка управленческого решения предполагает использование определенного объема информации.
21869. Качество и эффективность управленческих решений 54 KB
  Качество и эффективность управленческих решений.1 Понятие управленческого решения и управленческого действия В теории принятия решений выделяют понятия управленческие решения и управленческие действия.2 Качественная оценка эффективности управленческого решения В состав качественных показателей эффективности разработки управленческих решений могут быть включены: своевременность представления проекта решения степень научной обоснованности решений использование научных методов разработки современных подходов ...
21870. Контроль реализации управленческих решений 72 KB
  Понятие содержание цель и функции контроля; 11. Виды контроля и их классификация; 11. Основные принципы и критерии организации контроля; 11. Основные принципы и критерии организации контроля.
21871. Управленческие решения и ответственность 53 KB
  Управленческие решения и ответственность. Ответственность руководителя как элемент процесса принятия и реализации решения; 12. Ответственности и ее формы в зависимости от сферы деятельности Ответственность категория этики и права выражает особое социальное и моральноправовое отношение личности к обществу. В зависимости от сфер жизнедеятельности людей ответственность имеет ряд форм.