69637

Обчислення кількості інформації при передачі повідомлень по дискретному каналу

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку.

Украинкский

2014-10-08

173 KB

0 чел.

PAGE  4

Лекція 7.Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

   (1)

Наприклад, для символу a1 : ;

   .

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

     (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

  

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj:         (3)

Втрати інформації при передачі усіх символів   

     (4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому  

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

      (5)

      (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

    (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

       (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

  .

Останню рівність запишемо в іншому вигляді:

     (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:


 

А также другие работы, которые могут Вас заинтересовать

79846. АУДИТ ГОТОВОЙ ПРОДУКЦИИ И ЕЁ РЕАЛИЗАЦИИ 150 KB
  Важное значение для качественного проведения аудита на предприятии имеет ознакомление с порядком осуществляемого оперативного контроля за выпуском продукции что обеспечивает своевременность исполнения обязательств предприятия по договорам. В этих целях на предприятии должны проводиться систематические проверки исполнения технологических процессов контроль выполнения плана по объему ассортименту качеству выпускаемой продукции а также ритмичности производства. При этом устанавливается не только...
79847. ПРОВЕРКА СОСТОЯНИЯ УЧЁТА ДЕНЕЖНЫХ СРЕДСТВ (В КАССЕ, НА РАСЧЁТНОМ СЧЁТЕ И ДРУГИХ СЧЕТАХ) 110 KB
  При проверке следует установить соблюдается ли предприятием установленный обслуживающим его учреждением банка предельный лимит хранения наличных денег так как в кассе можно хранить лишь небольшие денежные суммы для оплаты мелких хозяйственных расходов выдачи авансов на командировки и Других небольших платежей. Поступление денег в кассу и выдача их из кассы должны быть оформлены приходными и расходными кассовыми ордерами. При получении денег сотрудники расписываются в платежной ведомости. Если деньги выдаются по доверенности то в тексте...
79848. АУДИТ БАРТЕРНЫХ ОПЕРАЦИЙ 51 KB
  Под бартерными операциями понимают операции, предусматривающие натуральный товарообмен на сбалансированной основе и оформляемые единым договором между юридическими лицами. Договор должен содержать стоимостную оценку обмениваемых товаров
79849. АУДИТ РАСЧЁТОВ ДЕБИТОРСКОЙ И КРЕДИТОРСКОЙ ЗАДОЛЖЕННОСТИ 142 KB
  Рациональная организация контроля за состоянием расчетов способствует укреплению договорной и расчетной дисциплины выполнению обязательств по поставкам продукции в заданном ассортименте и качестве повышению ответственности предприятий за соблюдение платежной дисциплины сокращению дебиторской и кредиторской задолженности ускорению оборачиваемости оборотных средств и следовательно улучшению финансового состояния предприятий. В настоящее время принят ряд документов регулирующих вопросы осуществления расчетов наличными документами....
79850. АУДИТ РАСЧЁТОВ С ПЕРСОНАЛОМ ПО ОПЛАТЕ ТРУДА И ПРОЧИМ ОПЕРАЦИЯМ 89 KB
  При проверке расчетов по оплате труда большое внимание надо уделить расчетам с депонентами. Аудитор прежде всего устанавливает, своевременно ли относится к депонентским суммам не полученная в установленные сроки заработная плата
79851. АУДИТ ОТЧЁТНЫХ ДАННЫХ ПО ДОХОДАМ, ЗАТРАТАМ И ПРИБЫЛИ 85 KB
  Прибыль является основным обобщающим качественным показателем деятельности предприятия и характеризует конечный финансовый результат эффективность производства. В связи с этим огромное значение имеет четкая организация контроля за формированием прибыли со стороны налоговых аудиторских и внутрихозяйственных служб в пределах компетенции каждой из них. Для обобщения информации о конечном финансовом результате ведется счет 80 Прибыли и убытки . По завершении года прибыль уменьшается на...
79852. АУДИТ ФОНДОВ И РЕЗЕРВОВ 49 KB
  Фактическое поступление вкладов учредителей проводится по кредиту счета 75 Расчеты с учредителями в корреспонденции со счетами денежных средств и других ценностей. На предприятиях созданных в форме акционерных обществ к счету 85 Уставный фонд могут быть открыты субсчета Простые акции и Привилегированные акции. После внесения соответствующих изменений в учредительные документы предприятия и регистрации нового размера уставного фонда должна быть сделана бухгалтерская запись...
79853. ПРОВЕРКА ДОСТОВЕРНОСТИ ИСЧИСЛЕНИЯ НАЛООГООБЛАГАЕМОЙ БАЗЫ ПО НАЛОГАМ (НА ДОБАВЛЕННУЮ СТОИМОСТЬ И СПЕЦИАЛЬНЫЙ НАЛОГ, НАЛОГИ НА ПРИБЫЛЬ, ИМУЩЕСТВО И ДР.) И ОТРАЖЕНИЯ РАСЧЁТОВС БЮДЖЕТОМ В СИСТЕМЕ СЧЕТОВ БУХГАЛТЕРСКОГО УЧЁТА 332 KB
  Поэтому значительную часть своей работы аудитор посвящает выявлению того по всем ли хозяйственным операциям облагаемым налогом на добавленную стоимость начислен этот налог и правильны ли расчеты с бюджетом. Налоги финансируемые потребителями Налог на добавленную стоимость НДС Специальный налог...