50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

25930. Способы гашения электрической дуги. Область применения 47.5 KB
  Способы гашения электрической дуги. Способы гашения дуги в коммутационных аппаратах до 1 кВ. Удлинение дуги при быстром расхождении контактов: чем длинее дуга тем большее напряжение необходимо для ее существования. Деление длинной дуги на ряд коротких дуг.
25931. Разъединители. Назначение. Конструктивное исполнение. Принцип действия. Условия выбора 31.5 KB
  Разъединители – аппараты которые предназначены для включения и отключения участков электрических цепей под напряжением при отсутствии нагрузочного тока. Разъединитель и механизм его привода должны надежно удерживаться во включенном положении при протекании тока К3. Как мы уже говорили они должны надежно работать при номинальном режиме а также при перегрузках и сквозных токах короткого замыкания. При больших токах контакты выполняют из нескольких до восьми параллельных пластин.
25932. Отделители и короткозамыкатели. Назначение. Конструктивное исполнение. Принцип действия. Условия выбора. Совместная работа отделителей и короткозамыкателей 25 KB
  Для замены выключателей на стороне высокого напряжения используются короткозамыкатели и отделители. Отделитель служит для отключения обесточенной цепи высокого напряжения за малое время не более 01 сек. Короткозамыкатели и отделители устанавливаются на стороне высшего напряжения РУ малоответственных потребителей когда в целях экономии площади и стоимости РУ выключатели предусмотрены только на стороне низшего напряжения. Отделители и короткозамыкатели устанавливаются на стороне высшего напряжения в менее ответственных РУ в целях экономии...
25933. Реакторы. Назначение. Конструктивное исполнение. Принцип действия. Условия выбора. Сдвоенные реакторы 26 KB
  Реакторы. Сдвоенные реакторы. Для ограничения ударного тока короткого замыкания применяют токоограничивающие реакторы. По этой причине реакторы выполняют без стальных сердечников несмотря на то что при этом для поддержания такого же значения индуктивности их приходится делать больших размеров и массы.
25934. Измерительные трансформаторы тока и напряжения. Назначение. Конструктивное исполнение. Принцип действия. Условия выбора 26 KB
  Измерительные трансформаторы тока и напряжения. Трансформатор напряжения трансформатор предназначеный для преобразования высокого напряжения в низкое в цепях РЗиА. Применение трансформатора напряжения позволяет изолировать логические цепи защиты и цепи измерения от цепи высокого напряжения. Виды трансформаторов напряжения Заземляемый трансформатор напряжения однофазный трансформатор напряжения один конец первичной обмотки которого должен быть наглухо заземлен или трехфазный трансформатор напряжения нейтраль первичной обмотки которого...
25935. Разрядники: назначение, конструкция, принцип действия. Вентильные и трубчатые разрядники. Нелинейные ограничители перенапряжения (ОПН): назначение, конструкция, принцип действия. Условия выбора 52.5 KB
  Нелинейные ограничители перенапряжения ОПН: назначение конструкция принцип действия. В результате пробоя в трубке возникает интенсивная газогенерация и через выхлопное отверстие образуется продольное дутье достаточное для погашения дуги . ОПН Ограничитель перенапряжения нелинейный ОПН это разрядник без искровых промежутков. Активная часть ОПН состоит из последовательного набора варисторов.
25936. Устройство защитного отключения (УЗО). Назначение, схема подключения 53 KB
  Устройство защитного отключения УЗО. Устройство защитного отключения УЗО; более точное название: Устройство защитного отключения управляемое дифференциальным остаточным током сокр. УЗО−Д механический коммутационный аппарат или совокупность элементов которые при достижении превышении дифференциальным током заданного значения при определённых условиях эксплуатации должны вызвать размыкание контактов. Основная задача УЗО защита человека от поражения электрическим током и от возникновения пожара вызванного утечкой тока через...
25937. Конструкция и принцип действия воздушных выключателей. Достоинства и недостатки. Условия выбора. Сравнение с другими высоковольтными выключателями 27.5 KB
  Воздушные выключатели обладают высокими техническими характеристиками. Сетевые выключатели на напряжение 6кВ и выше применяемыев электрических сетях и предназначенные для пропуска и коммутации тока в нормальных условиях работы цепи и в условиях КЗ. Генераторные выключатели на напряжение 624 кВ предназначенные для пропуска и коммутации токов в нормальных условиях а также в пусковых режимах и при КЗ. Выключатели для электротермических установок с напряжениями 6220 кВ предназначенные для работы как в нормальных так и в аварийных режимах 4.
25938. Конструкция и принцип действия элегазовых выключателей. Достоинства и недостатки. Условия выбора. Сравнение с другими высоковольтными выключателями 23 KB
  В элегазовых выключателях гашение дуги происходит так же как и в воздушных выключателях при интенсивнои охлаждении дуги потоком газа. В элегазовых дугогасительных устройствах в отличие о воздушных при гашении дуги истечение газа через сопло происходит не в атмосферу а в замкнутый объем камеры заполненный элегазом при небольшом избыточном давлении. По способу гашения дуги в элегазе различают следующие ДУ: с системой продольного дутья в которую предварительно сжатый воздух поступает из резервуара с относительно высоким давлением элегаза ДУ...