69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi – вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

0 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

28456. Осмысление потребности в сущности бытия и сущности человека. Индивидуальные основные потребности и психофизиологические возможности человека 51.5 KB
  Осмысление потребности в сущности бытия и сущности человека. Индивидуальные основные потребности и психофизиологические возможности человека. Потребность – отражение в сознании человека необходимости получения чегото жизненно важного побуждающего его к активной целенаправленности деятельности. Удовлетворение потребностей – цель любой деятельности человека.
28457. Сутність та задачі психологічної підготовки 105.5 KB
  Зміст морально-психологічного забезпечення та його особливості при виконанні службово-бойових завдань у повсякденній діяльності військ. Особливості при виконанні службово-бойових завдань у повсякденній діяльності військ...
28458. Понятие и сущность сервисной деятельности. Отличительные особенности услуг от товаров 108.5 KB
  В соответствии с Российским ГОСТ 564694 Услуги населению. По функциональному назначению услуги оказываемые населению подразделяются на – материальные по удовлетворению материальнобытовых потребностей потребителя бытовых услуг и социальнокультурные услуги удовлетворение духовных интеллектуальных потребностей и поддержание нормальной жизнедеятельности потребителя. лиц оказывающих услуги населению. Обслуживание – это деятельность исполнителя при непосредственном контакте с потребителем услуги.
28460. Предмет, сущность и задачи рекламы в СКС и Т 96 KB
  Предмет сущность и задачи рекламы в СКС и Т. В качестве объекта рекламы может выступать товар продажи или услуги. Предметом изучения рекламы являются стоящие перед ней цели и задачи. Сущность рекламы можно определить: в узком смысле как неличное информационное эмоциональное побуждение целевой группы людей к определенным поступкам.
28461. Необходимость и особенности страхования в туризме 59 KB
  Необходимость и особенности страхования в туризме. Объектами страхования в туризме являются как отдельные граждане так и туристские фирмы. Эти виды страхования в туризме проводятся в том же порядке что и страхование в других отраслях экономики. Страхование туристов это особый вид страхования обеспечивающий страховую защиту имущественных интересов граждан во время их пребывания в турпоездках.
28462. Компьютерные системы бронирования 55.5 KB
  Micros Fidelio Opera работает на более сложной с позиции освоения платформе Oracle. Данные о положительных сторонах АСУ были получены от дистрибьюторов данных программ а так же проанализированы и сопоставлены с данными полученными в ходе анонимного опроса персонала гостиничного комплекса использующего АСУ Micros Fidelio. Отсутствие возможности у ПО Micros Fidelio автоматического формирования цены на проживание. ПО Micros Fidelio не умеет формировать автоматическую цену на проживание и рассчитывать ее на будущее.
28463. Требования, предъявляемые к знаниям и профессиональным навыкам персонала гостиниц (речь, стиль, внешний вид и т.д.) 39.5 KB
  Потребитель при обнаружении недостатков оказанной услуги вправе по своему выбору потребовать: безвозмездного устранения недостатков; соответствующего уменьшения цены за оказанную услугу. Исполнитель должен устранить недостатки оказанной услуги в течение часа с момента предъявления потребителем требования. Требования потребителя об уменьшении цены оказанной услуги а также о возмещении убытков причиненных расторжением договора подлежат удовлетворению в течение 10 дней со дня предъявления соответствующего требования. Потребитель вправе...