69641

Види ентропії та їх властивості. Безумовна ентропія та її властивості

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Коли говорять про безумовну ентропію то слово безумовна опускають. Безумовна ентропія це питома кількість інформації на один елемент повідомлень складених з алфавітів між символами яких немає взаємозалежності. В цьому випаду ентропія джерела повідомлень і являє собою невизначеність...

Украинкский

2014-10-08

89.5 KB

1 чел.

PAGE  4

Лекція 6. Види ентропії та їх властивості.

Безумовна ентропія та її властивості

Коли говорять про безумовну ентропію, то слово ”безумовна” опускають. Оговорюють інші види ентропії як менш поширені.

Безумовна ентропія – це питома кількість інформації на один елемент повідомлень, складених з алфавітів, між символами яких немає взаємозалежності.

Розглянемо поняття ентропії як міри невизначеності деякого досліду, результат якого залежить від вибору одного елементу з множини вихідних. Множину вихідних елементів називають вибірковим простором. Імовірності знаходження елементів вихідної множини в тому чи іншому стані є додатними числами, а сума їх рівна 1 (в іншому випадку результат досліду не відносився б до повної групи подій).

Вибірковий простір та його імовірнісні характеристики являють собою ансамбль повідомлень. Для дискретного ансамблю імовірність події рівна сумі імовірностей елементів вибіркового простору, які містять в цій події.

Ансамбль повідомлень на виході джерела називається ансамблем джерела повідомлень і позначається буквою A. Абстрактний алфавіт, за допомогою якого представляється вихідна множини елементів, позначається . Імовірності появи букви на виході джерела повідомлень позначимо . В цьому випаду ентропія джерела повідомлень    і являє собою невизначеність появи на виході джерела повідомлень букви первинного алфавіту.

Ансамбль повідомлень на вході приймача називається ансамблем приймача повідомлень і позначати буквою B. Для того, щоб відрізняти передані та прийняті сигнали, абстрактний алфавіт, в якому представлений ансамбль приймача, позначається , а відповідні імовірності – . Тоді ентропія приймача повідомлень  являє собою невизначеність появи на вході приймача букви після її появи на виході джерела повідомлень.

Якщо в каналі зв’язку не відбувається втрата інформації, то завжди буква a1 відповідає букві b1, а2b2 і т.д. При цьому .

Розглянемо властивості безумовної ентропії.

  1.  Якщо відомо, що подія точно відбудеться (це еквівалентно передачі повідомлення з однією якісною ознакою), то його ентропія рівна нулю.
  2.  Якщо відомо, що подія точно не відбудеться (це еквівалентно відсутності i-ої якісної ознаки), то його ентропія рівна нулю.
  3.  Якщо дослід являє собою послідовність рівноімовірних подій (це еквівалентно передачі повідомлень з рівноімовірними взаємонезалежними символами), то ентропія є максимальною.
  4.  Якщо подія з рівною імовірністю може відбутися або не відбутися, то його ентропія максимальна.
  5.  Ентропія зі скінченою кількістю результатів завжди є додатною величиною.
  6.  Ентропія бінарного відношення володіє властивістю симетрії: збільшення або зменшення ймовірності будь-якого з елементів бінарного повідомлення на одну і ту ж величину приводить до однакової зміни ентропії.
  7.  Ентропія складного повідомлення, яке складається з деяких часткових повідомлень, рівна сумі ентропій складових повідомлення: .

Умовна ентропія

На практиці часто зустрічаються взаємозалежні символи та повідомлення. При передачі змістовних повідомлень одні букви зустрічаються частіше, інші рідше, одні букви і слова часто ідуть за іншими. Наприклад, в англійській мові найчастіше використовується буква е; у французькій після букви q завжди іде буква u,якщо q не стоїть в кінці слова. Щодо взаємодіючих систем, то переважно стан однієї з них впливає на стан іншої. В таких випадках ентропія не може визначатись лише на основі безумовних імовірностей.

При підрахунку середньої кількості інформації на символ повідомлення взаємозалежність враховують через умовні імовірності появи одних подій відносно інших. А отриману при цьому ентропію називають умовною ентропією.

Умовна ентропія використовується при визначенні взаємозалежності між символами первинного алфавіту, для визначення втрат при передачі інформації по каналах зв’язку, при обчисленні ентропії об’єднання.

Розглянемо текстове повідомлення. Якщо при передачі n повідомлень символ A з’явився m раз, символ B з’явився l раз, а символ A разом з символом Bk раз, то імовірність появи символу A ; імовірність появи символу B ; імовірність сумісної появи символів A та B .

Умовна імовірність появи символа A відносно символа B  і умовна імовірність появи символа B відносно символа A .

Якщо відомо умовну імовірність, то можна легко визначити й імовірність сумісної появи символів, використовуючи попередні формули:

.

Розглянемо формули умовної ентропії, використовуючи формулу Шеннона:

 ;    (1)

 ,    (2)

де індекс i вибрано для характеристики довільного стану джерела повідомлень A, індекс j вибрано для характеристики довільного стану адресату B.

Розрізняють поняття часткової та загальної умовної ентропії. Вирази (1) та (2) є частковими умовними ентропіями.

Загальна умовна ентропія повідомлення B відносно повідомлення A характеризує кількість інформації, яка міститься у будь-якому символі алфавіту, і визначається як сума імовірностей появи символів алфавіту помножена на невизначеність, яка залишається після того як адресат прийняв сигнал

.  (3)

Вираз (3) є загальним для визначення кількості інформації на один символ повідомлення для випадку нерівноімовірних та взаємозв’язаних символів.

Оскільки  являється імовірністю сумісної появи двох подій , то формулу (3) можна записати наступним чином:

   (4)

Розглянемо властивості умовної ентропії.

  1.  Якщо ансамблі повідомлень A та B взаємонезалежні, то умовна ентропія A відносно B рівна безумовній ентропії A і навпаки:

.

  1.  Якщо ансамблі повідомлень A та Bнастільки жорстко статично пов’язані, що поява одного з них означає обов’язкову появу іншого, то їх умовні ентропії рівні нулю:

.

Ентропія об’єднання

Ентропія об’єднання використовується для обчислення ентропії сумісної появи статично залежних повідомлень. Наприклад, передаючи сто раз цифру 5 по каналу зв’язку з завадами, зауважили, що цифра 5 була прийнята 90 раз, цифра 6 – 8 раз і цифра 4 – 2 рази. Невизначеність виникнення комбінацій виду 5-4, 5-5, 5-6 при передачі цифри 5 може бути описана за допомогою ентропії об’єднання.

Ентропія об’єднання  - це невизначеність того, що буде посилатись A, а прийматись B. Для ансамблів переданих повідомлень  та прийнятих повідомлень  ентропія об’єднання являє собою суму вигляду

   (5)

Ентропія об’єднання та умовна ентропія пов’язані між собою наступними співвідношеннями:

 

 

Властивості ентропії об’єднання:

  1.  Властивість симетрії:  .
  2.  При відсутності статичної залежності між елементами ансамблів A та B умовні імовірності перетворюються на безумовні, тоді

.

  1.  При повній статичній залежності між елементами ансамблів A та B (наприклад, коли результат однієї події однозначно визначає інформацію про другу подію) умовні ентропії рівні нулю, тому

.


 

А также другие работы, которые могут Вас заинтересовать

32352. Понятие системы (структуры) права. Особенности структуры права различных государств. Современные представления о системе российского права и тенденции ее развития 45.5 KB
  Понятие системы структуры права. Особенности структуры права различных государств. Современные представления о системе российского права и тенденции ее развития. Под системой права понимается определенная внутренняя его структура строение организация которая складывается объективно как отражение реально существующих и развивающихся общественных отношений.
32353. Методы правового регулирования (авторитарный и автономный) способы правового воздействия. Современные тенденции развития способов и методов правового регулирования в российском праве 37 KB
  Методы правового регулирования авторитарный и автономный способы правового воздействия. Современные тенденции развития способов и методов правового регулирования в российском праве. Юридическая наука различает понятия правового воздействия и правового регулирования. Тем не менее следует отличать строго определенные средства правового воздействия на общественные отношения специально предназначенные для их непосредственного регулирования.
32354. Понятие правосознания. Структура правосознания 30 KB
  Правосознание это совокупность представлений и чувств выражающих отношение людей социальных общностей классов наций народа к действующему и желаемому праву. Будучи субъективной реакцией человека на правовую действительность правосознание с одной стороны представляет форму вид общественного сознания наряду с нравственным политическим религиозным эстетическим и др. Право и правосознание связаны неразрывно. Алексеев правосознание неизбежный спутник права.
32355. Педагогическая деятельность, ее структура и специфика. Требования к личности учителя 16.92 KB
  Требования к личности учителя. Содержание определяется соцфакторами место и функция учителя в обществе требования общества к учителю и соцпсихологическими факторами ожиданиями окружающих общественными ожиданиями и установками. Коммуникативный – установление и поддержание отношений с учащимися родителями администрацией учителями. Учитель должен знать и учитывать особенности ученика которые мешают или помогают ему и соответственно реагировать на них медлительность ученика связанная с его темпераментом требует терпения и такта...
32356. Психологические основы обучения. Учение как процесс и ка деятельность. Основные модели обучения 17.22 KB
  Основные модели обучения. Учение как организованный процесс является стороной обучения и является продуктом учебной деятельности. Компоненты обучения: Целевой цели и задачи Содержание учебная программа Деятельностный деятельность педагога и учащихся Результативный оценка самооценка Функции обучения: Образовательная усвоение ЗУНов Воспитательная ценностное отношение к миру Развивающая установление взаимосвязи между явлениями и факторами Обучение – целенаправленная познавательная деятельность учащихся направленная на усвоение ими...
32357. Общее понятие о темпераменте. Свойства и типы темперамента, их проявление в деятельности и поведении 16.91 KB
  Темперамент – врожденные индивидуальные особенности человека обусловливающие динамические характеристики интенсивности и скорости реагирования степени эмоциональной возбудимости и уравновешенности особенности приспособления к окружающей среде. Они определяют динамику различной деятельности человека – игровой учебной трудовой рекреационной: Реактивность – степень непроизвольности реакций человека на внешние или внутренние воздействия одинаковой силы. Пластичность – легкость гибкость и быстрота приспособления человека к меняющимся внешним...
32358. Самосознание личности. Структура самосознания. Развитие самосознания в онтогенезе 18.56 KB
  Таким образом самосознание включает в себя: Самопознание интеллектуальные аспекты познания себя Самоотношение эмоциональное отношение к самому себе В целом можно выделить три пласта сознания человека: Отношение к себе Ожидание отношения других людей к себе атрибутная проекция Отношение к другим людям: эгоцентрический уровень отношений если мне помогают то это хорошие люди группоцентрический уровень если принадлежит к моей группе то он хороший просоциальный уровень поступай с другими так как хотел чтобы поступали стобой ...
32359. Общие понятия о характере. Структура характера. Типология характера 13.96 KB
  Структура характера. Типология характера. В структуре личности характера занимает центральное место объединяя все другие свойства и особенности поведения: Влияет на познавательные процессы На эмоциональную жизнь На мотивацию и волю Определяет индивидуальность и своеобразие личности Характер человека – сплав врожденных свойств высшей нервной деятельности с приобретенными в течении жизни индивидуальными чертами. Структура характера: Черты выражающие направленность личности устойчивые потребности установки интересы склонности идеалы цели...
32360. Групповая и совместная деятельность. Факторы эффективности групповой и совместной деятельности 15.38 KB
  Факторы эффективности групповой и совместной деятельности. Совместимость – способность членов группы к совместной деятельности. Виды совместимости: Психофизиологическая – определенное сходство характеристик людей и на этой основе согласованность их эмоциональных и поведенческих реакций синхронизация темпа совместной деятельности. Критерии оценки: Результаты деятельности.