69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

1 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

27578. Вовлечение несовершеннолетнего в совершение преступления (ст. 150 УК). Отличие этого преступления от вовлечения несовершеннолетнего в совершение антиобщественных действий (ст. 151 УК) 34 KB
  Отличие этого преступления от вовлечения несовершеннолетнего в совершение антиобщественных действий ст. Вовлечение несовершеннолетнего в совершение преступления 150 Преступления против семьи и несовершеннолетних. Объективная сторона: вовлечение н летнего в совершение преступления т.
27580. Государственная измена 30 KB
  Предметом государственной измены являются сведения составляющие государственную тайну. Перечень сведений составляющих государственную тайну совокупность категорий сведений в соответствии с которыми сведения относятся к государственной тайне и засекречиваются на основаниях и в порядке установленных федеральным законодательством. Объективная сторона состоит в государственной измене которая включает в себя следующие альтернативные действия: шпионаж передача собирание похищение или хранение в целях передачи иностранному государству...
27582. Грабеж и его признаки 35.5 KB
  Понятие насильственного грабежа его отличие от разбоя ст. Объект грабежа 161 отношения собственности при квалифицирующих признаках грабежа появляется дополнительный факультативный объект телесная неприкосновенность потерпевшего. Кроме того следует учитывать момент окончания этих преступлений материальный состав грабежа предполагает завладение чужим имуществом тогда как состав разбоя нет. При разграничении разбоя и грабежа важен и способ действия виновного применение ОРУЖИЯ или предметов используемых в качестве оружия всегда...
27583. Действие уголовного закона во времени. Обратная сила уголовного закона и её пределы. Действие уголовного закона в пространстве, его принципы (территориальный, гражданства, реальный, универсальный). Выдача лиц, совершивших преступление 42 KB
  Уголовный закон это нормативноправовой акт принимаемый высшими органами государственной власти и состоящий из взаимосвязанных норм определяющих основания и принципы уголовной ответственности а также какие деяния признаются преступлениями порядок назначения наказания за их совершение либо в определенных случаях указывающих условия для освобождения от уголовной ответственности и наказания. Законом усиливающем наказание является закон вводящий в санкцию статьи Особенной части более суровый вид наказания чем был предусмотрен. Усиление...
27585. Заведомо ложные показание, заключение эксперта или неправильный перевод (ст. 307 УК). Заведомо ложный донос (ст. 306 УК) и его отличие от клеветы (ст. 129 УК) 30.5 KB
  Объективная сторона данного преступления выражается в том что названные в ч. Комментируемое деяние становится квалифицированным если оно соединено с обвинением лица в совершении тяжкого или особо тяжкого преступления. Круг субъектов данного преступления определен в самой норме это свидетель потерпевший эксперт специалист и переводчик. Подозреваемый обвиняемый и подсудимый не могут быть привлечены к ответственности Субъективная сторона этого преступления характеризуется только прямым умыслом.