69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi – вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

0 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

81117. Конспект урока по обучению грамоте с использованием ИКТ. Буквы Ш, ш 946 KB
  Цели: познакомить с согласным звуком и буквами, активизировать словарный запас. Развивать речь, мышление, внимание, память, фонематический слух, познавательную активность. Воспитывать положительные черты личности.
81118. Засвоєння таблиці множення числа 8. Задачі на зведення до одиниці 29.38 KB
  Мета. Засвоїти таблицю множення числа 8, удосконалювати вміння розв’язувати задачі на зведення до одиниці, розвивати логічне мислення, увагу, виховувати інтерес до вивчення математики. Обладнання: таблиці для усної лічби, малюнки овочів.
81119. Корисні копалини в рідному краї 56.5 KB
  Діти а чи вмієти ви правильно сидіти за партою Покажіть мені як же потрібно сидіти за партою. Діти давайте перевіримо чи всі готові до нашого уроку Для уроку нам знадобляться підручник з природознавства зошит ручка олівець.
81120. Здоров’я дитини – радість родини 46 KB
  Мета. Ознайомити з поняттям здоров’я, здорові діти - радість родини. Розвивати у дітей активну життєву позицію, бажання бути здоровим: займатися фізкультурою, дотримуватися чистоти, гартувати своє тіло. Виховувати охайність.
81121. Океаны земли 41.5 KB
  Продолжить формировать представление о поверхности земли ее изображении на глобусе и карте; ознакомить с понятием океан названиями океанов; совершенствовать умения работать с картой учебником; развивать умения объяснять сравнивать анализировать понятия ситуации...
81122. «Півник і двоє мишенят» (Українська народна казка) 51 KB
  Мета: учити учнів глибоко відчувати казку, її добрих героїв, засуджувати хитрість, ледарство, боротися з ними у повсякденному житті; розвивати вміння читати за особами, переказувати; виховувати бажання допомагати іншим, рости працелюбними. Обладнання: ілюстрації до казки, мультфільм «Колосок».
81123. У царстві рослин 44.5 KB
  Мета: ознайомити учнів із розмаїттям рослин; формувати поняття дерева кущі трав’янисті рослини; вчити визначати плоди дерев; розвивати у дітей активне спостереження; виховувати любов до природи бажання охороняти і примножувати її красу.
81124. Погода в рідному краї в різні пори року. Предбачення погоди за народними прикметами 51.5 KB
  Мета: продовжувати формувати поняття Твій рідний край; сформувати поняття про погоду в рідному краї; ознайомити учнів із процесом утворення вітру; збагатити уявлення дітей про опади; наголосити на значенні прогнозу погоди для людини; розвивати пізнавальний інтерес, спостережливість...
81125. Лялька мотанка «Дзвіночок» 39 KB
  Обладнання: Шматки тканини круглої форми і різного розміру (одна менше другої), резинки для скручування, газета,шматок тканини білого кольору прямокутної форми, шматок тканини трикутної форми різного кольору. Ляльки для демонстрації: обрядові – 3 штуки, інші – 4 штуки.