69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

1 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

47528. Методичні рекомендації. Банківська справа 411 KB
  Укладачі: Пшик Богдан Іванович кандидат економічних наук доцент Рисін Віталій Васильович кандидат економічних наук доцент Рецензенти: Славюк Ростислав Анатолійович доктор економічних наук професор заступник директора з наукової роботи Вербицька Тетяна Петрівна заступник директора Львівської філії АТ Укрінбанкâ кандидат економічних наук Відповідальна за випуск: Табачук Галина Прокопівна кандидат економічних наук...
47532. Методические указания. Менеджмент организации 311.5 KB
  В них содержаться основные требования предъявляемые к организации и проведению преддипломной практики к содержанию дипломных работ порядку их выполнения и защиты приведены формы основных документов используемых при оформлении дипломных работ дана примерная тематика дипломных работ по кафедре экономики предприятия и производственного менеджмента. МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО ОРГАНИЗАЦИИ И ПРОВЕДЕНИЮ ПРЕДДИПЛОМНОЙ ПРАКТИКИ ОБЩИЕ ПОЛОЖЕНИЯ Преддипломная практика студентов является важнейшей частью подготовки высококвалифицированных...
47533. Методические указания. Экономика и бухгалтерский учет 171.5 KB
  Наумова СОДЕРЖАНИЕ 1 Общие вопросы организации дипломного проектирования.4 2 Содержание дипломного проекта .1 Требования к структуре дипломного проекта .4 Требования к содержанию пояснительной записки дипломного проекта.
47534. Осложнения послеоперационного периода – роль сестринского процесса и их профилактика 2.06 MB
  Послеоперационный период - это время от момента операции до выздоровления или перевода пациента на инвалидность. В этот период пациент находится в определенном состоянии, которое обусловлено предшествующей болезнью, оперативным вмешательством по ее устранению и наркотическими средствами, применяемыми во время операции.