69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

1 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

45569. Интеллектуальная собственность 53.5 KB
  Несоблюдение письменной формы договора как теперь специально указано в статьях 1334 и 1235 ГК РФ повлечет признание договора недействительным за исключением случаев когда сам Кодекс допускает возможность заключения договоров без соблюдения письменной формы как это установлено например для: 1 договора о предоставлении права использования произведения в периодической печати который может быть заключен устно пункт 2 статьи 1286 ГК РФ при этом данная норма не распространяет свое действие на электронные СМИ; 2 лицензионного договора о...
45570. Корпоративные кодексы: понятие, виды, методы создания и внедрения 39.5 KB
  Корпоративные кодексы: понятие виды методы создания и внедрения Ситуация в области трудовой морали и этики в современной России имеет сегодня свои особенности. При этом ни в коем случае нельзя сказать что формирование деловой этики начинается с нуля. Первые ростки на поле деловой этики в современной России стали пробиваться в 90х годах. Был принят ряд профессиональных этических кодексов среди которых следует упомянуть: Кодекс чести банкира 1992 Правила добросовестной деятельности членов профессиональной ассоциации участников фондового...
45571. Мероприятия для журналистов 36.5 KB
  Рассмотрим наиболее традиционные формы PRобщения в том числе брифинги приемы конференции прессконференции презентации дни открытых дверей круглые столы выставки и спецсобытия. Прессконференция является самой эффективной формой взаимодействия между компанией и журналистами так как последние получают информацию из первых рук PRспециалистов компании и ее менеджмента. В ней обязательно участвуют руководство или люди максимально компетентные в вопросе освещаемом на прессконференции. Прессконференцию проводят как правило в случае...
45572. Корпоративный сайт 37 KB
  Вот типовые блоки информации стандартного вебсайта: история организации; обращение к посетителям сайта первого лица организации; профиль деятельности услуги или продукция организации; новости из жизни организации; официальные прессрелизы публикации СМИ об организации; анонсы проводимых организацией мероприятий; часто задаваемые вопросы и ответы на них; конференции для посетителей; вопросы представителям руководителям организации; чаты страницы общения пользователей Сети; обратная связь. Дополнительные ресурсы:...
45573. Современные методы регионального ПР 36.5 KB
  Методы регионального ПР Имидж региона это реальный управленческий ресурс в существенной мере предопределяющий успешность политических экономических и социальных позиций региона. И такой мощный ресурс нужно использовать: перед руководством местных администраций встаёт реальная необходимость наладить грамотную работу PRслужб которая будет успешно реализовывать PRполитику региона. А для того чтобы результативно формировать и продвигать имидж региона и регионального лидера необходимо чтобы PRслужба подчинялась напрямую главе...
45574. Социологические исследования в PR-деятельности 51.5 KB
  Социологические исследования в PRдеятельности Исследования имеют огромное значение для специалиста по связям с общественностью так как позволяют отслеживать процесс работы на всем протяжении проводимой кампании начиная от сбора информации на этапе прогнозирования и заканчивая оценкой эффективности проведенных мероприятий. В связях с общественностью наиболее широко применяются социологические исследования. Программа социологического исследования призвана ответить на два основных вопроса: как отталкиваясь от определенных теоретических...
45575. Информационное противостояние, пропаганда, негативный ПР 46.5 KB
  Основные составляющие устойчивости организации на разрушение которых должна быть направлена технология информационной войны Разрушение единства МЫ ЧУВСТВА идентичности Разрушение цели Разрушение структуры 1. ИНФОРМАЦИОННАЯ АТАКА НА Цель Второе направление информационной войны против организации разрушение цели. Поведение человека существенно отличается наличием ЦЕЛИ. В отсутствии цели люди становятся апатичными впадают в состояние подобное трансу Стабильность социальной системы динамична.
45576. PR в отношениях с инвесторами 97 KB
  Финансовые ПР инвестор рилейшнз отношения с инвесторами распространение информации которая влияет на понимание акционерами и инвесторами финансового состояния и перспектив компании а также способствует улучшению отношений между корпорацией и ее акционерами. Вся инвестиционнофинансовая деятельность компании в том числе ее рилайтерское обеспечение должна носить постоянный и целенаправленный характер учитывать глобализацию и интегрированность рынка инвестиционных ресурсов. К общим принципам финансовыхПР которые вполне соответствуют...
45577. Деловое общение в связях с общественностью 54 KB
  Наиболее распространенная форма общения партнеров диалог разговор по очереди для взаимодействия. Искусство делового общения как основного элемента паблик рилейшнз связано с именем греческого философа Сократа который выработал основные каноны общения: признание равенства и неповторимости каждого из партнеров допустимость присутствия оригинальности в любой точке зрения взаимное обогащение участников деловой встречи. Характерной особенностью делового общения является то что его содержание и цели как правило направлены на решение текущих...