69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi – вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

0 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

61086. Рисуем пейзаж 2.32 MB
  На этом слое наносим сетку на наш лист с помощью. Они оказываются каждое на своем слое. На новом слое который должен быть расположен под сеткой и стволами заливаем землю травяным цветом под линию горизонта...
61087. Основні види складнопідрядних речень. Розрізнення сполучників і сполучних слів 45.5 KB
  Мета: поглибити знання учнів про особливості будови складнопідрядного речення засоби звязку в ньому; ознайомити девятикласників з основними видами складнопідрядних речень; навчити розрізняти сполучники підрядності й сполучні слова...
61088. ВИДИ РЕЧЕНЬ ЗА МЕТОЮ ВИСЛОВЛЮВАННЯ. ОКЛИЧНІ РЕЧЕННЯ. РОЗДІЛОВІ ЗНАКИ В КІНЦІ РЕЧЕННЯ 53 KB
  Мета: повторити й узагальнити поняття про види речень за метою висловлювання про окличні речення; розвивати організаційноконтрольні вміння організовувати спеціальні спостереження над мовним матеріалом...
61089. Складнопідрядні речення з підрядними означальними 60 KB
  Мета: поглибити знання девятикласників про складнопідрядне речення його будову і засоби звязку; навчити визначати підрядну означальну частину її позицію відповідно до головної частини...
61090. Рисуем древесину. Она нам понадобиться в следующем уроке 333.5 KB
  Удерживайте кнопку Shift чтобы провести ровные линии. Когда переходите к новой линий Shift отпускаете иначе вы будете соединять линии между собой. Проделаем все то же самое еще инструментом осветление линии чтобы темные и белые линии чередовались слегка накладываясь.
61091. УСНИЙ ТВІР-ОПИС МІСЦЕВОСТІ (ВУЛИЦІ, СЕЛА, МІСТА) НА ОСНОВІ ОСОБИСТИХ СПОСТЕРЕЖЕНЬ І ВРАЖЕНЬ У ХУДОЖНЬОМУ СТИЛІ 108.5 KB
  Назвати об’єкти що входять до опису місцевості. Формування практичних умінь опису місцевості Прочитати зразок текстуопису місцевості. Підготувати розповідь увівши в неї опис місцевості відповідно до запропонованої ситуації спілкування.
61092. Складнопідрядні речення з підрядними з’ясувальними 60 KB
  Мета: поглибити знання девятикласників про складнопідрядне речення його будову і засоби звязку; навчити визначати підрядні зясувальні частини позицію їх відповідно до головної частини; розвивати організаційно-контрольні вміння...
61094. Домик 2.81 MB
  Надеюсь что вытирать будете с помощью шифта. С помощью Ctrlt ставим прямоугольник на место. На новом слое с помощью рисуем забор. С помощью CtrlT устанавливаем его на место.