69637

Обчислення кількості інформації при передачі повідомлень по дискретному каналу

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку.

Украинкский

2014-10-08

173 KB

0 чел.

PAGE  4

Лекція 7.Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

   (1)

Наприклад, для символу a1 : ;

   .

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

     (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

  

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj:         (3)

Втрати інформації при передачі усіх символів   

     (4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому  

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

      (5)

      (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

    (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

       (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

  .

Останню рівність запишемо в іншому вигляді:

     (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:


 

А также другие работы, которые могут Вас заинтересовать

33016. Русская православная философия 18.37 KB
  Поэтому философия приобретает религиозный характер что проявляется в русской философии в целом и ее религиозноидеалистическом направлении в частности. Важнейшие философскомировоззренческие проблемы по поводу понимания и толкования духовного и материального веры и разума смысла жизни свободы человека смерти и бессмертия и другие были в поле зрения как философии так и религии. О русской философии. Ее фундамент закладывает Киреевский определив задачи русской религиозной философии.
33017. Основной вопрос философии, две его стороны. Понятие материализм и идеализм, идеальное, первичное, вторичное. Гносеологические и социальные корни идеализма 43.54 KB
  Основной вопрос философии: Философия – это система основополагающих идей в составе мировоззрения человека и общества. Вот почему она может быть в определенном смысле названа основным вопросом философии. Вопрос о соотношении сознания и бытия духа и природы является основным вопросом философии.
33018. Метафизический метод познания (мышления) 17.82 KB
  Признает законы логики единственными движущими силами всякого развития. Этому уровню развития науки соответствовал метафизический способ мышления Метафизика. в любой его форме становится препятствием на пути прогрессивного развития научных знаний. стал антропологической интерпретацией идей развития и прогресса сформировавшихся в конце 18 первой половине 19 вв.
33019. Диалектика как метод познания. Принципы и законы диалектики 14.21 KB
  Противоположность – черты стороны признаки предмета которые коренным образом отличаются друг от друга и вместе с тем не могут сущ.Противоречие – это импульс толчок к изменению и развитию предмета. Внутренние – противоречия между противоположными сторонами предмета пр.Основные противоречия между ведущими главными сторонами предмета.
33020. Проблема бытия в истории философии 35.15 KB
  Проблема бытия в истории философии Можно вычленить несколько периодов в трактовке бытия. Первый период мифологическое истолкование бытия. Второй этап связан с рассмотрением бытия самого по себе натуралистическая онтология.
33021. Проблемы сознания в истории философии 25.32 KB
  Философское осмысление сознания начинается тогда когда в ходе развития и усложнения материальнопрактической деятельности расширения познания окружающего мира начинается угасание религиозномифологических представлений. Примерами материалистического подхода к объяснению сознания являются общефилософские концепции Фалеса Анаксимандра Анаксимена Демокрита. Идеалистическое объяснение сознания ярче всего отражено в учении Платона о мире идеальных сущностей этих действительных первоосновах материального бытия.
33022. Проблема познания в истории философии 26.33 KB
  Проблема познания в истории философии. Проблема познания в истории философии имеет большое значение. Проблемы познания в философии Стоит начать с того что под познанием понимается целенаправленное активное отображение окружающей действительности в сознании человека. Проблема познания в философии важна также и по той причине что человек может быть не только субъектом но и его объектом.
33023. Проблема истины в философии 25.44 KB
  Проблема истины в философии и науке является достаточно сложной. Признание истины относительной связано с бесконечностью процесса познания мира его неисчерпаемостью. Проблема истины в философии также заключается в том что знание каждой исторической эпохи содержит в себе элементы абсолютной истины поскольку оно имеет объективно истинное содержание является необходимым этапом познания включается в последующие этапы.
33024. Специфика философского познания социальной действительности 40.09 KB
  Социальному познанию можно дать следующее определение: Познание людьми законов функционирования общества и самих себя своих целей желаний потребностей называется социальным познанием Очерки социальной философии. Истина это адекватность представлений субъекта действительности о чем подробно говорилось в первой части курса философии. Предмет и функции социальной философии История философии насчитывает более двух с половиной тысячелетий. За это время накопилось множество определений философии но до сих пор не утихают споры о том что...