50290

Условная энтропия и взаимная информация

Лабораторная работа

Информатика, кибернетика и программирование

По формуле полной вероятности имеем: Следовательно По теореме умножения Следовательно Аналогично Количество информации и избыточность Количество информации при наблюдении случайной величины с распределением вероятностей задается формулой Шеннона: Единицей измерения количества информации является бит который представляет собой количество информации получаемое при наблюдении случайной величины имеющей два равновероятных значения. При равномерном распределении количество информации задается формулой Хартли:...

Русский

2014-02-03

185.5 KB

10 чел.

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

 

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

 

 

 

 

 

Если  и независимы, то =0.


Пример 1.

Дана матрица

,  .

Определить:      

Решение. 

По формуле полной вероятности имеем:

   

Следовательно,

 

По теореме умножения

  

  

 

Следовательно,

Аналогично

 

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

   поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении


Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда   


 

А также другие работы, которые могут Вас заинтересовать

14802. Білім мəні мен маңызы 81.5 KB
  Білім мəні мен маңызы Жоспары 1. Білім жалпыадамзаттық құбылыс 2. Білім əлеуметтік қажеттілік 3. Білімнің жүйелілігі 4. Білімпедагогикалық процесс 5. Қазіргі заман білім жүйесін реформалаудың негізгі бағыттары 4.1. Білім жалпыадамзаттық құбылыс Қаншалы...
14803. ДYНИЕНI ДYБIРЛЕТКЕН ТYРКIЛЕРДIҢ ДЕНЕ ТӘРБИЕСI 48 KB
  ДYНИЕНI ДYБIРЛЕТКЕН ТYРКIЛЕРДIҢ ДЕНЕ ТӘРБИЕСI Қолына олимпиялық алауды ұстаған халық оның жалынын әрi қарай шалқыта түсуге тиiс Пьер де Кубертен қазiргi олимпиялық ойындардың негiзiн салушы Бiздер қазiргi кезде мекендеп ғұмыр кешiп отырған Қазақстан Республикасының аум
14804. Тəрбие құралы – əлеуметтік орта 67.5 KB
  Тəрбие құралы əлеуметтік орта Жоспары 1. Отбасы педагогикалық қатынас субъекті 2. Мектеп ұжымы 3. Балалар жəне жасөспірімдер бірлестіктері 1. Отбасы педагогикалық қатынас субъекті Отбасы мектеп пен мектепке дейінгі тəрбие мекемелері балалар жəне жасө
14805. Көне дүниедегі мектеп және тәрбие 78 KB
  Көне дүниедегі мектеп және тәрбие. Ертедегі Шығыстың өркениеті жағдайындағы тәрбие және оқыту. Ертедегі Грециядағы тәрбие жүйесі. Ертедегі Грецияда педагогикалық теорияның пайда болуы. Ертедегі Римде тәрбие мен педагогикалық ойпікірдің дамуы. ...
14806. Көне Түркі жазба ескерткіштеріндегі және 58.5 KB
  Көне Түркі жазба ескерткіштеріндегі және Қорқыт ата кітабындағы халықтық педагогика Жазба ескерткіштер. Тәрбиенің мәңгілігі қажетгілігі қасиетгілігі жайлы ой түркі жазбасының ертедегі ескерткіштерімен дөледденеді. Бұл түрғыда ерекше қызығушылық түғазатын
14807. Қазақ ақын-жырауларының тәлім-тәрбиелік идеялары 51.5 KB
  Қазақ ақынжырауларының тәлімтәрбиелік идеялары. Қазақ хандығы көптеген тайпалардың қаңлылар үйсіндер қыпшақтар арғындар наймандар дулаттар және т.б. негізінде құрылды. Қиын тарихи жағдайда қалыптаса отырып қазақ хандығы бірде ХҮІ ғ.бас кезінде нығайды бір...
14808. ҚИЫН БАЛАЛАРМЕН ЖҰМЫС 45.5 KB
  ҚИЫН БАЛАЛАРМЕН ЖҰМЫС. Бекибаева Сәнгүл Ғосманқызы қазақ тілі мен әдебиеті пәнінің мұғалімі №35жалпы орта білім беру мектебі 1 . Тәрбие отбасынан басталады Қиын балалардың отбасындағы беріктігі және өнегелі отбасында өнегелі ұрпақ тәрбиеленетіні сөзсіз....
14809. Қиял туралы жалпы ұғым 92 KB
  Қиял туралы жалпы ұғым Қиял дегеніміз сыртқы дүние заттары мен қүбылыстарының субъективтік образдарын қайтадан жаңартып өндеп бейнелеуде көрінетін тек адамға ғана тән психикалық процесс: ...барлық жан қуаттарын рухани күштерді тек қиял ғана өзіндік сақталатынс...
14810. ҚЫЗ БАЛА - ҰЛТТЫҢ ҰЯТЫ, ХАЛЫҚТЫҢ ШЫРАЙЫ 54.5 KB
  ҚЫЗ БАЛА ҰЛТТЫҢ ҰЯТЫ ХАЛЫҚТЫҢ ШЫРАЙЫ Л.Т.Байкеева В.Б.Зеткулова М.Б.Мыңбаева Тараз мемлекеттік педагогикалық институты Тараз қ. Қазақ халқы бала тәрбиесіне өте көп көңіл бөлген. Баланың ана құрсағында пайда болуына оның өмірге келуіне оның алғашқы қадамына ...