69637

Обчислення кількості інформації при передачі повідомлень по дискретному каналу

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку.

Украинкский

2014-10-08

173 KB

0 чел.

PAGE  4

Лекція 7.Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

   (1)

Наприклад, для символу a1 : ;

   .

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

     (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

  

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj:         (3)

Втрати інформації при передачі усіх символів   

     (4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому  

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

      (5)

      (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

    (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

       (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

  .

Останню рівність запишемо в іншому вигляді:

     (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:


 

А также другие работы, которые могут Вас заинтересовать

54085. London Sights. The Tower of London 137.5 KB
  Last Wednesday the Londoners went to the Tower of London with their class. The next day the children wrote about their visit and drew pictures. The Tower of London is a big castle with a lot of buildings inside it. One building was a prison. Sometimes the kings and queens of England chopped off their enemies’ heads there! So people called it the Bloody Tower.
54086. Welcome to London 70 KB
  Good morning children. I’m glad to meet you. Today we continue our sightseeings of London. “Welcome to London”. It will be the topic of our today’s lesson. I’m sure you have already known something about the capital of G.B. But I want to ask you: what sightseeings of London do you know?
54087. London 7.45 MB
  Цели: практиковать учащихся в чтении; способствовать развитию умений и навыков монологической речи учащихся; способствовать развитию интереса к изучаемому языку и развитию аудитивной памяти.
54088. THE TOUR AROUND LONDON 3.94 MB
  Teacher: Many people think that modern life is impossible without travelling. Travelling has completely changed our life, our knowledge about other people, their lifestyles and their culture. And I want to start our today’s lesson with some questions to you.
54089. Лондон – столица Великобритании 76 KB
  I’m sure you’ve got much information about this wonderful city at your English lessons. And now you will have a good opportunity to show your knowledge in our imaginary trip around the city. During the trip you’ll solve some problems and take part in some projects.
54090. МАТЕМАТИЧНЕ ЛОТО 25.5 KB
  Вона служить гарною розминкою для учнів і допомагає їм настроюватися на робочий лад. Звичайно серед учнів найдуться такі які не вирішуючи прикладів спробують зібрати малюнок. Бажано зробити так щоб в учнів були різні малюнки. Щоб малюнки учнів не пропали можна попросити учнів виконати їх у двох екземплярах за допомогою копірки.
54091. Кохання: бути чи не бути. Цікаві історії кохання 145.5 KB
  Кохання! Як багато нам каже одне слово, та в той самий час, як мало ми знаємо про нього! Кожне кохання має свою історію. Іноді дуже коротку! Можна сказати, історію в мініатюрі! У неї є час зростання і зрілості. Сонячні підйоми і швидке падіння. Свої бурі і негоди. Те перше биття серця, котре потім може здатися початком нового кохання.
54092. My Family and Friends 73.5 KB
  Family life has always been a subject of research in literature. Famous writers have always described how people build their family relationships. Family life has changed a lot over the centuries, but family values have never been the subject of change. I think you agree with me that the main characteristic features of any family are love, respect, mutual understanding and tolerance.
54093. Методы решения иррациональных уравнений (их таксономия) 474.5 KB
  Тип урока: по критерию ведущей цели урок повторения закрепления таксономии методов решения иррациональных уравнений на основе деятельностного подхода в обучении; по критерию ведущего дидактического метода урок эвристического полилога урок проблемного воссоздания методов решения иррациональных уравнений; по критерию ведущего матема тического содержания урок одной задачи одного уравнения урок практикум; по критерию типа информационного взаимодействия учащихся и учителя урок сотворчества сотрудничества и соревновательности....