69637

Обчислення кількості інформації при передачі повідомлень по дискретному каналу

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку.

Украинкский

2014-10-08

173 KB

0 чел.

PAGE  4

Лекція 7.Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

   (1)

Наприклад, для символу a1 : ;

   .

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

     (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

  

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj:         (3)

Втрати інформації при передачі усіх символів   

     (4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому  

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

      (5)

      (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

    (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

       (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

  .

Останню рівність запишемо в іншому вигляді:

     (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:


 

А также другие работы, которые могут Вас заинтересовать

32063. Совершенствование процедур банковского аудита в современных условиях 503 KB
  Основы и этапы возникновения специального банковского аудита [2. Основные этапы формирования и развития банковского аудита [2. Институциональные основы аудита банков в Российской Федерации [3] Глава 2. Совершенствование процедур банковского аудита в современных условиях [4.
32064. Анализ ликвидности и платёжеспособности ОАО «Промтехмонтаж» 565 KB
  Техникоэкономическая характеристика деятельности предприятия 2.2 Обеспеченность предприятия ОАО Промтехмонтаж трудовыми и материальными ресурсами 31 2.3 Основные финансовые и экономические показатели деятельности предприятия 36 Глава 3. Финансовое состояние проявляется в платежеспособности предприятия в способности вовремя удовлетворять платежные требования поставщиков в соответствии с хозяйственными договорами возвращать кредиты выплачивать заработную плату вносить платежи в бюджет.
32065. Разработка предложений по оптимизации структуры активов исследуемой организации 2.32 MB
  Целью данной выпускной квалификационной дипломной работы является разработка предложений по оптимизации структуры активов исследуемой организации. Для достижения поставленной цели необходимо решить следующий ряд задач: определить теоретические и методические подходы к оценке структуры активов организации: понятие сущность назначение активов организации; структуру активов организации методику оценки оптимальной структуры активов организации; оценить структуру активов организации на примере ОАО НГПЭ за 2006 2008 гг.; разработать...
32066. Оценка финансового состояния предприятия и разработка мероприятий по его улучшению (на примере ООО «Маркет-Сервис») 1.13 MB
  С его помощью вырабатывается стратегия и тактика развития предприятия обосновываются планы и управленческие решения осуществляется контроль их выполнения выявляются резервы повышения эффективности производства оцениваются результаты деятельности предприятия его подразделений и работников. Для обеспечения эффективной деятельности в современных условиях руководству необходимо уметь реально оценивать финансовоэкономическое состояние своего предприятия а также состояние деловой активности партнеров и конкурентов. Финансовое состояние...
32067. Исследование личностной и социальной идентичности в психологии 49 KB
  Агеев Белинская В психологии: Идентичность психологическое представление человека о своем Я; отождествление человеком самого себя частично осознаваемое неосознаваемое с теми или иными типологич. Социальная и личностная идентичность. Эриксон: идентичность возникающий на биологической основе продукт определенной культуры на становление влияют особенности культуры и возможности данного индивида. Идентичность формируется в процессе взаимодействия с социокультурным окружением поэтому важно чтобы ребенок общался со взрослыми с...
32068. Я-концепция Л и регуляции соц-ого поведения. Самоув и псих-е защиты 57 KB
  В 60е гг введение в обиход понятия идентичность помогло выйти из тупика т. идентичность задает дихотомию: социальное и личное есть место для 2х подходов. Он рассматривал идентичность как некоторую структуру состоящую из определенных элементов переживаемую субъективно как чувство тождественности и непрерывности собственной личности. Идентичность это сложное личностное образование имеющее многоуровневую структуру.
32069. Теоретические и эмпирические исследования социально-психологических свойств и типов личности 50 KB
  Теоретические и эмпирические исследования социальнопсихологических свойств и типов личности. Проблема выделения и изучения социальнопсихологических свойств личности. проблема: каков перечень социально психологических качеств свойств личности и каковы критерии для их выделения. Основа типологии отношение лти к соц.
32070. Большие социальные группы и методы их исследования 61 KB
  Большие социальные группы и методы их исследования. Большие соц группы общности людей отличаются от МГ наличием слабых постоянных контактов между всеми их представителями но объединенные не меньше и потому оказывают существенное влияние на общественную жизнь. Классификация: 2 больших класса: 1 случайно стихийно возникшие достаточно кратковременно существующие общности толпа масса неорганизованные; публика аудитория митинг полуорганизованные; 2 именно социальные группы т. группы сложившиеся в ходе исторического развития...
32071. Проблема малой группы в социальной психологии 59 KB
  Проблема малой группы в социальной психологии Проблема определения малой группы Само понятие группа возникло в середине 19 века когда начали изучаться отношения между людьми психология масс народов толпы а изучение малой группы началось с начала 20го века. Как минимум существует 4 группы определений малой группы: 1. любое количество лиц находящихся во взаимодействии друг с другом в виде одной непосредственной встречи или ряда встреч во время которых каждый член группы получает некоторое восприятие каждого другого члена группы....