69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

1 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

59250. Сценарій вечора-конкурса: В імя кохання 28.5 KB
  Якийсь хлопець Валентин був несправедливо засуджений і посаджений в тюрму. За рішенням суду його повинні були стратити 14 лютого. Ведучий ІІ: Але в нього закохалася дочка начальника тюрми. Істота велична, добра і ніжна, яка, на жаль, була сліпа.
59251. Ліки довкілля 32 KB
  На луках ростуть лікарські рослини. Адже саме із цієї рослини готують ліки від кашлю. Ці високі з дрібними і ніжними квіточками рослини називаються зозулин цвіт. На якому лузі ви побували Що нового ви дізналися про луки...
59252. Прощавай, букварику! 38.5 KB
  Діти декламують вірші Учні: 1. Ми українські діти Любимо трави квіти З квітів не тільки букетик Зробимо й альфабетик. Буквар: Молодці діти Добре старалися гарно вчилися. Який Діти: Математика.
59253. ВАШ ГІСТЬ — СВЯТИЙ МИКОЛАЙ 54.5 KB
  На видному місці образ святого в архієрейських шатах з Євангелієм на омофорі в лівій руці. З двох сторін сходяться два Ангели. 1й Ангел. 2й Ангел.
59254. СЦЕНАРІЙ СВЯТА ПРИСВЯЧЕНОГО СВЯТОМУ МИКОЛАЮ 62.5 KB
  Отець Миколай старався всім допомогти але так щоб ніхто не знав чиїх це рук справа. Миколай відніс вночі до дому цього чоловіка мішечок з золотом і тим самим поміг йому врятувати дітей від горя і злиднів.
59256. Сценарій: Зустріч з казкою 66.5 KB
  Першою до нас в гості завітала українська народна казка Колобок яка вам вже є знайомою але уважно просимо додивитись її до кінця й тоді Ведуча: Та не треба поспішати а краще казку розпочати бо недаремно мудрі кажуть люди що краще раз побачити ніж десять раз почути.