69441

Количество информации и энтропия

Лабораторная работа

Информатика, кибернетика и программирование

Краткие теоретические сведения Количество информации Количество информации является апостериорной характеристикой и определяет количество информации которое получают после приема сообщений. Если p Xi – вероятность iого сообщения то индивидуальное количество информации...

Русский

2014-10-04

145 KB

0 чел.

Министерство науки и образования Украины

Университет развития человека „Украина

Отчет по лабораторной работе
Дисциплина "Теория информации и кодирования"
Тема: "
Количество информации и энтропия "

Принял: Вишталь 

Выполнил:
студент 3  курса гр.КС-31
Гребинь Д. А.

Киев 2005

Лабораторная работа № 9

Тема:  Количество информации и энтропия

Краткие теоретические сведения

Количество информации

   Количество информации является апостериорной характеристикой и определяет количество информации, которое получают после приема сообщений. Если p( Xi ) – вероятность i-ого сообщения, то индивидуальное количество информации:

    Следовательно, количество информации, содержащееся в ансамбле из N сообщений равно:

Безусловная энтропия.

   Энтропия – это средняя величина неопределенности состояния источника сообщения. Является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть определена априорно, т.е. до получения сообщений.

Свойства энтропии:

  1.  Энтропия есть величина вещественная, ограниченная и неотрицательная.
  2.  Энтропия детерминированных сообщений равна нулю.
  3.  Энтропия максимальна, если сообщения равновероятны: H(X) = log(N). 
  4.  Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Условная энтропия.

    Условная вероятность P(Xi/Yi) показывает вероятность того, что при приеме сообщения Yi было действительно передано сообщение Xi. Индивидуальная энтропия: H(Xi) = - log( P(Xi ) ). Индивидуальная условная энтропия: H( Xi/Yj ) = - log( P(Xi/Yj ) ). Тогда количество информации (полное): I( X/Y ) = H( X ) - H( X/Y ), а это не что иное, как полное количество информации с учетом условной энтропии. Условную энтропию принято показывать в виде матрицы: со стороны источника и со стороны приемника:

X \ Y

Y1

Y2

...

Yj

...

Yn

X1

P( Y1/X1 )

P( Y2/X1 )

...

P( Yj/X1 )

...

P( Yn/X1 )

X2

P( Y1/X2 )

P( Y2/X2 )

...

P( Yj/X2 )

...

P( Yn/X2 )

...

...

...

...

...

...

...

Xi

P( Y1/Xi )

P( Y2/Xi )

...

P( Yj/Xi )

...

P( Yn/Xi )

...

...

...

...

...

...

...

Xn

P( Y1/Xn )

P( Y2/Xn )

...

P( Yj/Xn )

...

P( Yn/Xn )

    Для данной матрицы:

   Полная условная энтропия вычисляется по формуле:

Свойства условной энтропии:

  1.  Если ансамбли сообщений Х и Y жестко статистически связаны между собой, т.е. при возникновении Х1 принимается Y1 , при Х2 – Y2 и т.д., тогда условная энтропия равна нулю: H( X/Y ) = 0 и H( Y/X ) = 0.
  2.  Если ансамбль сообщений Х и Y взаимно независимы, то полная условная энтропия Х относительно Y равняется безусловной энтропии Х: H( X/Y ) = H( X ) и H( Y/X ) = H( Y ).

ХОД РАБОТЫ:

 

 

Вывод: В данной лабораторной работе было рассмотрено  и практически закреплено

следующее:

количество информации, содержащееся в ансамбле из N сообщений равно:

безусловная энтропия находится по формуле:

   Полная условная энтропия вычисляется по формуле:


 

А также другие работы, которые могут Вас заинтересовать

47864. Загальні поняття основ ергономіки 300 KB
  Технічний прогрес у промисловості в транспортній галузі в енергетиці та у військовій справі супроводжується вростанням ролі людини у забезпеченні високої ефективності виробництва. Механізація та автоматизація виробничих процесів упровадження обчислювальної техніки та інформаційних технологій докорінно змінюють діяльність людини висуваючи до неї нові більш високі вимоги збільшуючи при цьому економічну та соціальну значущість результатів її діяльності. Одночасно принцип гуманізації...
47865. Інформаційні системи та технології в торгівлі 623.5 KB
  Між керуючою системою і керованою системою здійснюється взаємозв'язок через інформаційну систему під якою розуміють комунікаційну систему із збору передачі переробки інформації про об'єкт яка постачає працівникам різного рангу інформацію для реалізації функції управління. Друга відмінність полягає у формі передавання інформації. Для АСУТП основною формою передавання інформації є сигнали в АСОУ документи. Роль та місце АСДС в ієрархії управління визначається тим що вона є основним джерелом статистичної інформації конче потрібної для...
47866. Організаційна структура та бюджетні повноваження Державного казначейства України. Функції Державного казначейства України 72 KB
  Саме останні дають нам можливість оцінити якість дії Державного казначейства а також його завдання та обовязки які повязані з його діяльністю. Більше того через функції визначається сутність та основна мета діяльності певного об'єкта в нашому випадку Державного казначейства. На Державне казначейство в Україні покладено виконання таких функцій: здійснення касового виконання державного бюджету та бюджетів самоврядування за доходами та видатками; здійснення контролю за цільовим спрямуванням бюджетних коштів на стадії проведення...
47867. Предмет і метод політичної економіки 1.86 MB
  Сукупність економічних відносин між людьми у сфері виробництва розподілу обміну і споживання продукції що утворюють певну економічну систему. Юм Фізіократи 1718 ст питання походження багатства перенесено із сфери обігу в сферу виробництва. Основні риси виробництва Стадії суспільного виробництва Основні елементи процесу виробництва Праця –це свідома доцільна діяльність людини яка спрямована на створення тих чи інших благ з метою задоволення потреб.
47868. Проектний аналіз 1.67 MB
  Він дає інформаційну базу у вигляді проекту як спеціально оформленого інвестиційного плану чи результатів проведеної експертизи проекту для ухвалення рішення щодо включення проекту в інвестиційний портфель підприємства початку його інвестування постійного моніторингу реалізації. Аналіз інвестиційних проектів – це комплекс методичних та практичних прийомів розробки обґрунтування й оцінки доцільності реалізації проекту. Більшість проектів що виявилися збитковими могла бути не допущена до реалізації за умови якісного попереднього аналізу з...
47869. Міжнародна економіка. Конспект лекцій 905.5 KB
  Конспект лекцій містить зміст лекційного курсу, завдання до самостійного вивчення теоретичного матеріалу курсу, що вивчається в позааудиторний час, список рекомендованої літератури і ресурсів Інтернет, ілюстративний матеріал до лекцій
47870. Многочлени. Властивості многочленів 5.51 MB
  Ділення многочлена на лінійний двочлен. Розклад многочлена за степенями лінійного двочлена. Означення многочлена Вираз виду: Повністю визначається коефіцієнтами. Многочленомполіномомвід однієї змінної над областю цілісності К називається вираз виду 3 де довільне ціле невід’ємне число елементи К а деякі символи; називається степенем змінної або невідомого а м коефіцієнтом многочлена 3 або коефіцієнтом при .
47871. Основи геометрії 63.5 KB
  Історичний нарис обґрунтування геометрії Предмет основ геометрії. Відкриття неевклідової геометрії.