69637

Обчислення кількості інформації при передачі повідомлень по дискретному каналу

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку.

Украинкский

2014-10-08

173 KB

0 чел.

PAGE  4

Лекція 7.Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

   (1)

Наприклад, для символу a1 : ;

   .

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

     (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

  

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj:         (3)

Втрати інформації при передачі усіх символів   

     (4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому  

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

      (5)

      (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

    (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

       (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

  .

Останню рівність запишемо в іншому вигляді:

     (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:


 

А также другие работы, которые могут Вас заинтересовать

29185. Понятие трасологии 28 KB
  Один из центральных разделов криминалистической техники в котором изучаются теоретические основы и закономерности возникновения следов разрабатываются рекомендации по применению средств и методов обнаружения изъятия и исследования следов. Трасология – отрасль криминалистической техники которая изучает закономерности образования следов – отображений и разрабатывает средства приемы и методы обнаружения изъятия фиксации и исследования этих следов в целях использования их для раскрытия расследования и предупреждения преступлений. Задачи...
29186. Способы фиксации следов рук 34 KB
  Протокол осмотра места происшествия должен содержать следующую информацию: 1 описание объекта на котором обнаружен след: наименование объекта форма размер цвет объекта характер поверхности объекта гладкая шероховатая 2 место нахождения следа на этом объекте Должны быть выбраны два постоянных ориентира нужно выделить верхнюю и нижнюю части объекта правую и левую сторону. 3 описание самого следа след нужно назвать Главное требование к протоколу – объективность = вместо формулировки найден след пальца руки целесообразнее...
29187. Понятие следа. Классификация следов в трасологии 37 KB
  Каждое преступное деяние вызывает изменение в окружающей обстановке определенные следы. Слово след имеет 4 значения: Отпечаток оттиск Остаток Последствия Нижняя часть ступни подошва ноги Криминалисты различают следы в широком и узком смысле слова. В узком смысле – это только следы отображения такие следы в которых передаются признаки оставившего их объекта и механизм их образования. по объекту следообразования: 1 следы человека – это следы рук ног зубов губ ушной раковины и т.
29188. Следы рук 40 KB
  Общие признаки папиллярных узоров: 1 тип папиллярного узора: дуговые узоры петлевые узоры завитковые узоры В основу классификации положена внешняя характеристика. Каждый папиллярный узор образуется слиянием 3х потоков папиллярных линий. Дельта – это участок папиллярного узора в котором сходятся все 3 потока папиллярных линий. 2 вид папиллярного узора: дуговой папиллярный узор делится на простой и шатровый завитковый узор: улитка двойной завиток 3 величина узора 4 крутизна изгиба рисунка 5 направление потока папиллярных линий и др.
29189. Обнаружение, фиксация и изъятие следов ног 48 KB
  Обнаружение следов обуви Следы обуви чаще видимые = применяются в основном визуальные методы их обнаружения. Фиксация следов обуви: 1 описание в протоколе осмотра места происшествия Протокол осмотра места происшествия должен содержать следующую информацию: Всегда обращается внимание на качество следов. 1 Описывается вся обстановка: количество следов месторасположение следов взаиморасположение следов относительно друг друга.
29190. Криминалистическое значение следов ног 41.5 KB
  Следы ног встречаются реже. Это связано со следующими обстоятельствами: 1 механизм образования: взаимное воздействие двух гладких твёрдых поверхностей 2 при расследовании сложно установить относимость следов к происшествию на месте происшествия обычно бывает много людей = очень много следов. Криминалистическое значение следов ног: 1 по следам ног можно установить отдельные элементы механизма совершения преступления: пути подхода и отхода преступника направление движения преступника количество лиц находившихся на месте происшествия...
29191. Способы обнаружения следов рук 39.5 KB
  Предполагает использование не только зрительного аппарата человека но и специальных приборов осветительных увеличительных. 2 физические порошковый метод способ – это использование дактилоскопических порошков использование паров йода 3 химические способы В основном используются следующие реактивы: 5процентный водный раствор азотнокислого серебра 15процентный раствор нингидрина в ацетоне.
29192. Способы изготовления гипсовых слепков 42 KB
  Используется когда следы оставлены на влажной земле снеге и т. 2 насыпной 3 комбинированный Наливной способ изготовления гипсовых слепков Правила: 1 необходимо удалить из следа все посторонние включения частицы 2 если след неглубокий – нужно сделать вокруг следа валик из грунта или дощечек 3 необходимо изготовить каркас из веток или проволоки чтобы удержать форму следа. 5 гипсовый раствор заливают в след так чтобы было залито дно следа.
29193. «Дорожка» следов ног: её криминалистическое значение и элементы 46.5 KB
  Дорожку следов следует отличать от совокупности разрозненных следов. признаки дорожки следов: 1 это совокупность следов одного человека 2 следы должны быть оставлены в результате какоголибо поступательного движения ходьбы или бега 3 следы должны быть образованы и правой и левой ногами 4 количественная характеристика – следов должно быть не менее 3х. Рекомендуется все исследования проводить на 3х самых чётких следах если следов больше то выбираются самые чёткие.