69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

1 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

83304. Совершенствование отчета о движении денежных средств 62.86 KB
  Целью данной курсовой работы является – на основе подбора, систематизации и обобщения данных разных источников дать понятие об отчете о движении денежных средств, его назначении и целевой направленности, а также содержании и правилах формирования.
83305. Организация работы структурного подразделения молодежного кафе 65.2 KB
  В рыночной российской экономике повысились требования к производственному и обслуживающему персоналу предприятий общественного питания, усилился контроль со стороны государственных органов, назрела необходимость рациональной организации и управления деятельностью предприятий общественного питания.
83306. Федеральное собрание Российской Федерации как представительный и законодательный орган России, его состав и полномочия 74.69 KB
  В соответствии с Конституцией РФ, принятой 12 декабря 1993 года, Федеральное Собрание является парламентом РФ. Согласно Советскому энциклопедическому словарю за 1985 год понятие «парламент» происходит от французского слова parler – «говорить».
83307. Оценка принципов разработки ПО 265 KB
  Известно, что основной задачей первых трех десятилетий компьютерной эры являлось развитие аппаратных компьютерных средств. Это было обусловлено высокой стоимостью обработки и хранения данных. В 80-е годы успехи микроэлектроники привели к резкому увеличению производительности компьютера...
83308. Кредит и кредитная система 241.5 KB
  Теоретические основы функционирования кредита и кредитной системы РФ. Сущность понятие функции и виды кредита. Анализ развития кредита в современной России. На нижнем уровне действуют коммерческие банки подразделяющиеся на универсальные и специализированные банки инвестиционные банки...
83309. Экономическое обоснование затрат предприятия 258 KB
  Экономику понимают, во-первых, как совокупность производственных отношений общества, его экономический базис; во-вторых, как народное хозяйство страны; в-третьих, как научную дисциплину, экономическую теорию.
83310. Технико-экономические расчеты при проектировании участка механической обработки детали типа крышка в условиях серийного типа производства. Режим работы двусменный 226.57 KB
  Для предприятий серийного производства характерны значительно меньшие, чем в единичном, трудоемкость и себестоимость изготовления изделий. В серийном производстве, по сравнению с единичным, изделия обрабатываются с меньшими перерывами, что снижает объемы незавершенного производства.
83311. УЧЕТ, ОЦЕНКА И ПЕРЕОЦЕНКА ОСНОВНЫХ ФОНДОВ 773.5 KB
  Это вызвано тем что доля основных фондов в общем объеме средств находящихся в распоряжении предприятия достигает 70 и более. Для более полной характеристики состояния средств труда следует проводить аттестацию каждого рабочего места которая представляет собой комплексную....