50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

32642. Формирование статей затрат проекта. Калькуляция расходов, сметы, бюджет проекта 27.5 KB
  Формирование статей затрат проекта. Калькуляция расходов сметы бюджет проекта. Бюджет проекта предназначен для планирования расхода средств проекта по временным периодам год квартал месяц в течение всего времени его осуществления. Обычно расход средств проекта первого года планируется более подробно показывается поквартальное и помесячное распределение денежных средств.
32643. Управление качеством в проекте 40 KB
  Управление качеством в проекте. Управление качеством Одной из ключевых функций управления проектом наряду с такими как управление стоимостью и временем является управление качеством проекта. Качество это целостная совокупность характеристик объекта относящихся к его способности удовлетворять установленные или предполагаемые потребности. Понятие качество следует отличать от понятия градация сорт класс.
32644. Проектные риски и их основные виды 39.5 KB
  Вероятность рисков это вероятность того что в результате принятия решения произойдут потери для предприятия то есть вероятность нежелательного исхода. Проектные риски это совокупность рисков угрожающих реализации инвестиционного проекта или способных снизить его эффективность коммерческую экономическую бюджетную социальную и т. Виды инвестиционных рисков многообразны. В отдельных источниках также выделяют такие риски как: риск связанный с отраслью производства вложение в производство товаров народ ного потребления в среднем...
32645. Методы анализа и прогнозирования риска и неопределенности в проекте 274.5 KB
  Анализ рисков процедуры выявления факторов рисков и оценки их значимости по сути анализ вероятности того что произойдут определенные нежелательные события и отрицательно повлияют на достижение целей проекта. Анализ рисков включает оценку рисков и методы снижения рисков или уменьшения связанных с ним неблагоприятных последствий. Назначение анализа рисков дать потенциальным партнерам необходимые данные для принятия ре шений о целесообразности участия в проекте и выработки мер по защите от воз можных финансовых потерь. Анализ рисков можно...
32646. Методы снижения риска в проекте 465.5 KB
  Принципы выбора метода снижения риска Нельзя рисковать больше чем это может позволить собственный капитал; Надо думать о последствиях риска; Нельзя рисковать многим ради малого. Кр = У С где Кр коэффициент риска У максимально возможная сумма убытка; С объем собственных ресурсов с учетом точно известных поступлений средств. Методы снижения риска Распределение риска между участниками сделки долевое финансирование проектов Гарантии Лимитирование установление предельных сумм сделок кредита Резервные фонды Залог Модель управления...
32647. Контрактная работа над проектом 37 KB
  Контрактная стадия проекта открывает фазу реализации проекта и следует сразу за фазой предынвестиционных исследований за принятием решения о вложении инвестиций в проект. На этой стадии определяются все участники проекта контракторы отношения которых с заказчиком формализуются в контрактах. Определение потребности в ресурсах работах и услугах необходимых для реализации проекта. Определение потенциальных участников проекта контракторов и анализ их возможностей.
32648. Организация и проведение подрядных торгов для заключения контрактов по проектам 35 KB
  Организация и проведение подрядных торгов для заключения контрактов по проектам. Объект торгов производственный или непроизводственный объект к которому относится предмет торгов. Предмет торгов конкретные виды работ и услуг по которым проводятся торги. В качестве предмета торгов могут выступать подряды на: строительство реконструкцию и капитальный ремонт предприятий зданий сооружений производственного и непроизводственного назначения в том числе на условиях под ключ; выполнение комплексов строительных и монтажных работ и их...
32649. Организация работ и выполнение проекта 29 KB
  Организация работ и выполнение проекта. Задачи управления проектом при его выполнении выполнение сводного плана проекта реализация плана проекта путем выполнения включенных в него работ; подтверждение предметной области процесс формальной приемки предметной области проекта. обеспечение качества процесс регулярной оценки выполнения работ проекта для подтверждения того что проект будет удовлетворять принятым стандартам качества. развитие команды освоение индивидуальных и групповых навыков и квалификации для улучшения выполнения...
32650. Контроль и регулирование хода выполнения проекта 37 KB
  Контроль и регулирование хода выполнения проекта. Контроль Основной целью контроля проекта является обеспечение выполнения плановых показателей и повышение общей эффективности функций планирования и контроля проекта. Содержание контроля проекта состоит в определении результатов деятельности на основе оценки и документирования фактических показателей выполнения работ и сравнения их с плановыми показателями. Система контроля проекта представляет собой часть общей системы управления проектом между элементами подсистемами которой имеются...