69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi – вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

0 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

70888. Граждане как субъекты гражданского права. Гражданские правоотношения 275 KB
  В современном мире общепризнанным является взгляд на права человека как универсальную категорию отражающую наднациональные общечеловеческие требования и стандарты в области свободы личности. В этом плане права человека являются не государственно-правовой конкретно-юридической категорией...
70889. ЦЕНОВАЯ ПОЛИТИКА ОРГАНИЗАЦИИ И МЕРОПРИЯТИЯ ПО ЕЕ СОВЕРШЕНСТВОВАНИЮ 1005.5 KB
  Целью дипломной работы является на примере предприятия ЧУП «Гроднотурист» провести анализ ценовой политики гостиничного бизнеса и разработать мероприятия по ее совершенствованию. Для реализации цели выделены следующие задачи: определить сущность и специфику гостиничного бизнеса...
70890. Анализ использования трудовых ресурсов в ЗАО «Дельта» 1.28 MB
  Для изучения данной темы последовательно рассмотрим использование трудовых ресурсов на основе: анализа численности и движения рабочей силы; анализа использования рабочего времени; анализ эффективности использования трудовых ресурсов. Достижение цели возможно при постановке...
70891. Правила оформления документации при передаче дел в архив 176 KB
  Формирование исполненных документов в дела в организации осуществляется в течение всего делопроизводственного года в соответствии с утвержденной на данный год номенклатурой дел. С начала делопроизводственного года должны быть оформлены обложки дела по правилам оговоренных...
70893. СОВЕРШЕНСТВОВАНИЕ ДЕЯТЕЛЬНОСТИ ОРГАНОВ МЕСТНОГО САМОУПРАВЛЕНИЯ ПО ПРОФИЛАКТИКЕ И БОРЬБЕ С СОЦИАЛЬНО ЗНАЧИМЫМИ ЗАБОЛЕВАНИЯМИ (на примере Республики Марий Эл) 1.32 MB
  Главной целью социальной политики Российской Федерации является последовательное повышение уровня и качества жизни обеспечение всеобщей доступности основных социальных услуг прежде всего качественной медицинской помощи и социального обслуживания обеспечение занятости населения.
70894. ФИНАНСОВО-ПРАВОВЫЕ ОСНОВЫ МЕСТНОГО САМОУПРАВЛЕНИЯ 407.5 KB
  Цель настоящей выпускной квалификационной работы состоит в формировании целостного представления об особенностях правовой природы финансовых основ местного самоуправления, особенностей, касающихся устава муниципального образования, муниципальной собственности и бюджета...
70895. Повышение эффективности стимулирования труда на предприятии ООО «Юниор» 244.61 KB
  При изучении теоретических основ стимулирования труда на предприятии автор данной работы опирается на разработки известных специалистов. Опираясь на теорию и анализ действующей системы стимулирования труда автор проявил свою зрелость и обеспечил успешное решение задач...
70896. Модель обоснования управленческого решения в заключении импортных контрактов на примере предприятия 426.47 KB
  Актуальность темы исследования обусловлена тем, что: во–первых, до сих пор в экономической литературе ведутся дискуссии по содержанию импортных контрактов; во–вторых, в современной экономической теории не исследованы особенности импортных контрактов...