69639

Інформація, дані, повідомлення, сигнали. Канали передачі даних і їх класифікація. Кількісна оцінка інформації

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Певна сукупність даних отриманих від джерела інформації називається повідомленням. При цьому використовуються як спеціальні виділені лінії зв’язку які використовуються при передачі інформації на невеликі відстані до 10 км так і лінії зв’язку мереж загального користування.

Украинкский

2014-10-08

338 KB

4 чел.

Інформація, дані, повідомлення, сигнали.

Канали передачі даних і їх класифікація.

Кількісна оцінка інформації.

Будь-яке відображення навколишнього середовища, яке може бути зафіксоване людиною або пристроєм, несе в собі інформацію. А відображення результатів діяльності людей або розуміння навколишнього світу може бути представлено у формалізованому вигляді, наприклад, у вигляді букв і цифр. Такі формалізовані набори називаються даними. Певна сукупність даних, отриманих від джерела інформації, називається повідомленням.

Дані стають інформацією в момент їх використання, тому не усі дані стають інформацією. Інформацією стають ті повідомлення, які знімають невизначеність, що існувала до їх поступлення.

Повідомлення передаються за допомогою сигналів, які мають певні фізичні властивості. У загальному випадку сигналом може бути будь-яка зміна початкового стану об’єкту, яка здатна викликати реакцію людини або пристрою. Розрізняють сигнали: зорові (телевізійне зображення), звукові, електричні (переважно в комп’ютерних засобах), радіосигнали. Одні сигнали можуть викликати інші. Так, електричний сигнал може викликати звуковий (в електричному дзвінку, в акустичній системі), світловий сигнал – електричний (у фотоелементі). Сигнали можуть бути взаємозв’язані у просторі і в часі (звукове кіно).

Основними параметрами, які характеризують сигнал, є тривалість сигналу, ширина частотного спектру і середня потужність (сила). Для надійної передачі сигналів, як правило, необхідно розглядати ці характеристики у взаємному зв’язку, оскільки вони можуть доповнювати один одного.

З точки зору положення у просторі і в часі сигнали діляться на статичні і динамічні. Статичними називаються сигнали, які відображають стійкі зміни стану об’єкта (тригери, комірки пам’яті). Динамічними називаються сигнали, які відображають неперервні зміни стану об’єкта або відображають процеси при переході від одного стійкого стану в інший. Динамічними сигналами є усі види електромагнітних коливань (світлові, радіосигнали) і пружні коливання середовища (розповсюдження звуку у воді, твердому тілі).

За структурою повідомлення сигнали поділяються на неперервні та дискретні. Якщо сигнал на досліджуваному інтервалі часу на скінченому інтервалі амплітуд приймає довільну кількість значень, то він називається неперервним. Якщо сигнал в певні моменти часу на скінченому інтервалі амплітуд приймає обмежену кількість значень, то він називається дискретним. Дискретні сигнали менш піддаються діям завад в каналах зв’язку, спотворення дискретного сигналу легше знайти, чим спотворення неперервного, і дискретні сигнали легко обробляються на комп’ютерах.

Можливість передачі неперервних повідомлень за допомогою дискретних сигналів була доведена Котельніковим ще в 1933 році. Теорема Котельнікова відповідає на питання яким повинен бути крок дискретизації – часовий інтервал відліків, щоб неперервну функцію передати за допомогою дискретних сигналів. Згідно з теоремою, неперервна функція з обмеженим спектром може визначатися своїми дискретними значеннями, обрахованими через інтервали часу, менші 1/(2F), де F – ширина спектру. Чим менші інтервали часу, тим краща точність представлення неперервної функції дискретними вибірками. Однак, зменшення кроку дискретизації веде до збільшення кількості вибірок на досліджуваному інтервалі часу, до збільшення інформативності повідомлення, що вимагає збільшення пропускної здатності каналів зв’язку та продуктивності комп’ютерних засобів. Тому крок дискретизації вибирають компромісним: в межах: .

Канали передачі даних

Інформація від джерела до одержувача надходить через середовище передачі, яке в техніці називають лініями зв’язку. На даний час найбільше поширення одержали електричні провідні лінії зв’язку. При цьому використовуються як спеціальні виділені лінії зв’язку, які використовуються при передачі інформації на невеликі відстані (до 10 км), так і лінії зв’язку мереж загального користування.

Однак одних лише ліній зв’язку недостатньо для надійної передачі інформації, необхідно використовувати комутуючі, підсилювальні та інші технічні засоби, що разом з передавальним середовищем становлять собою канал зв’язку. Отже, канал зв’язку – це сукупність технічних засобів, призначених для передачі інформації, а лінії зв’язку – це середовище, в якому розповсюджуються сигнали, які несуть інформацію.

Канали зв’язку класифікуються за різними ознаками. В залежності від швидкості передачі розрізняють канали низькошвидкісні (50-200 біт/с), середньошвидкісні (до 19 200 біт/с), високошвидкісні (понад 19 200 біт/с).

З врахуванням можливостей зміни напрямку передачі даних розрізняють канали: симплексні, що забезпечують передачу даних лише в одному напрямку, напівдуплексні, що дають змогу передавати по черзі дані у двох напрямках, дуплексні, що передають дані одночасно в обох напрямках.

В залежності від способу передачі даних розрізняють канали зв’язку з послідовною і паралельною передачею даних. При послідовній передачі даних за один такт передається лише один біт даних через одну лінію зв’язку, орієнтовану на обмін даними. Послідовні канали обміну даними застосовуються як на малі, так і на великі відстані. Послідовні канали характеризуються відносно невеликими затратами на реалізацію фізичних ліній зв’язку. При паралельній передачі усі розряди кожного символу чи слова передаються одночасно по окремих лініях зв’язку. В паралельних каналах за один такт переважно передається кількість біт даних, кратна восьми (8,16,24,32,...). Канали паралельної передачі інформації використовуються при малому або середньому віддаленні абонентських пунктів від передавача (в межах десятків метрів).

Часто фізичне з’єднання між передавачем і приймачем відбувається шляхом послідовного з’єднання декількох каналів в єдиний складний канал зв’язку. Така ситуація виникає при передачі інформації на значні відстані.

В залежності від режиму використання складного каналу зв’язку розрізняють некомутуючі (орендовані) і комутуючі канали. Некомутуючим називається складний канал, що створюється й існує протягом певного інтервалу часу незалежно від передачі інформації. На відміну від орендованого каналу, комутуючий канал створюється тільки на час передачі кожного повідомлення, а в інший час окремі канали, з яких він складається, можуть бути використані для інших цілей.

При передачі дискретних сигналів між двома пристроями виникає необхідність забезпечити синхронність їх роботи. Це пов’язано з тим, що при передачі досить довгої послідовності однакових символів (нулів або одиниць) їхня кількість на передавальному і приймальному пристроях може не збігатись між собою через те, що синхронізуючі генератори цих пристроїв можуть мати розкид частотних параметрів. Щоб позбутись подібних помилок, використовуються різні способи синхронізації.

В залежності від способу синхронізації розрізняють канали з асинхронною і синхронною передачею. Зауважимо, що термін ”асинхронна передача” не виключає синхронізації, а лише визначає один з її різновидів. При асинхронній передачі даних переважно синхронізується окремо кожне слово чи кожен символ. До символів відносяться цифри, літери алфавіту і спеціальні символи. Синхронізація забезпечується за допомогою окремих сигналів типу "запит" – "відповідь" або передача супроводжується сигналами ”старт” і ”стоп”. Синхронна передача переважно використовується для великих повідомлень. Вона передбачає використання окремого сигналу синхронізації на кожний такт обміну даними. Сигнали синхронізації передаються окремими лініями зв’язку.

При передачі даних по каналах зв’язку існує ймовірність появи помилок, оскільки канал передачі інформації піддається впливу різних спотворень, що можуть виникати як від дії зовнішнього середовища, так і спотворюватись устаткуванням, яке використовується. Тому для захисту від помилок особливого значення набувають спеціальні методи подання (кодування) даних з метою підвищення їх достовірності.

Кількісна оцінка інформації

Кількість інформації, яка міститься в джерелі інформації, не залежить від способу її передачі. Кількість інформації задовольняє умові адитивності: при передачі повідомлень одним і тим самим методом, однією і тою ж апаратурою, по одному і тому ж каналу зв’язку кількість інформації тим більша, чим більше слів чи символів передається.

Однак, спосіб обміну інформацією впливає на кількість прийнятої інформації. Одне і те ж повідомлення можна передавати через канали зв’язку з надлишковим кодуванням і без нього і т.п.. Проте спосіб обміну інформацією не може служити характеристикою останньої, оскільки, як вже було сказано, кількість інформації, яка міститься в її джерелі, не залежить від способу її кодування і передачі.

Кількість інформації I обчислюють як добуток усуненої невизначеності H, яка знімається одним повідомленням, на кількість повідомлень k. k розглядають як кількість символів первинного алфавіту.

Мірою невизначеності H в теорії інформації є ентропія. Якщо вихідний (первинний) ансамбль повідомлень представляється скінченною множиною символів абстрактного алфавіту (a1,a2,ai) з розподілом імовірностей (p1,p2, ,pi), то ентропія являє собою питому невизначеність на символ первинного алфавіту і характеризує алфавіт в цілому.

У 1928 році американцем Р. Хартлі була запропонована логарифмічна міра інформації, яка супроводжувалась наступними судженнями.

Кількість повідомлень N, яку можна отримати, комбінуючи m символів по n елементів у повідомленні, . Наприклад, комбінуючи два символи, можна передати вісім повідомлень при n=3, шістнадцять – при n=4 і т.д. Таким чином, кількість повідомлень , а разом з нею і кількість інформації, що передається, знаходиться в експонентній залежності від кількості елементів у повідомленні. Тому не можна безпосередньо використовувати як міру кількості інформації.

Хартлі запропонував у якості міри кількості інформації прийняти логарифм числа можливих послідовностей символів:

Невизначеність, яка припадає на символ первинного алфавіту, що складений з рівноімовірних і взаємонезалежних символів, . Основа логарифму впливає лише на зручність обчислень. У випадку оцінки ентропії у двійковій системі:

. (1)

Таким чином, для рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в k повідомленнях алфавіту з m символами рівна

. (2)

Для нерівноймовіної появи символів в первинному алфавіті ентропія на символ ,(3)

а кількість інформації у повідомленні, складеної з k нерівноімовірних символів,

 (4)

Співвідношення (3) було отримано Шенноном для визначення середньої кількості інформації у повідомленнях з довільними імовірностями появи символів. При рівноймовірних символах, тобто при , формула Шеннона переходить у формулу Хартлі (1).

Необхідно розрізняти поняття ”кількість інформації” та ”об’єм інформації”. Кількість інформації визначається виключно характеристиками первинного алфавіту, об’єм – характеристиками вторинного алфавіту. Кількість інформації залежить від імовірнісних характеристик первинного алфавіту, а об’єм – не залежить. Під ”об’ємом інформації” розуміють кількість елементарних символів у прийнятому (вторинному) алфавіті. Тобто об’єм інформації залежить від довжини повідомлення у вторинному алфавіті: , де  - середня довжина кодових слів вторинного алфавіту.

Для рівномірних кодів (усі комбінації коду містять однакову кількість розрядів) , де n – довжина коду (кількість елементарних посилок у коді).

Згідно з (2), об’єм рівний кількості інформації, якщо , тобто у випадку максимального інформаційного навантаження на символ повідомлення. У всіх інших випадках .

Види ентропії та їх властивості.

Безумовна ентропія та її властивості

Коли говорять про безумовну ентропію, то слово ”безумовна” опускають. Оговорюють інші види ентропії як менш поширені.

Безумовна ентропія – це питома кількість інформації на один елемент повідомлень, складених з алфавітів, між символами яких немає взаємозалежності.

Розглянемо поняття ентропії як міри невизначеності деякого досліду, результат якого залежить від вибору одного елементу з множини вихідних. Множину вихідних елементів називають вибірковим простором. Імовірності знаходження елементів вихідної множини в тому чи іншому стані є додатними числами, а сума їх рівна 1 (в іншому випадку результат досліду не відносився б до повної групи подій).

Вибірковий простір та його імовірнісні характеристики являють собою ансамбль повідомлень. Для дискретного ансамблю імовірність події рівна сумі імовірностей елементів вибіркового простору, які містять в цій події.

Ансамбль повідомлень на виході джерела називається ансамблем джерела повідомлень і позначається буквою A. Абстрактний алфавіт, за допомогою якого представляється вихідна множини елементів, позначається . Імовірності появи букви на виході джерела повідомлень позначимо . В цьому випаду ентропія джерела повідомлень  і являє собою невизначеність появи на виході джерела повідомлень букви первинного алфавіту.

Ансамбль повідомлень на вході приймача називається ансамблем приймача повідомлень і позначати буквою B. Для того, щоб відрізняти передані та прийняті сигнали, абстрактний алфавіт, в якому представлений ансамбль приймача, позначається , а відповідні імовірності – . Тоді ентропія приймача повідомлень  являє собою невизначеність появи на вході приймача букви після її появи на виході джерела повідомлень.

Якщо в каналі зв’язку не відбувається втрата інформації, то завжди буква a1 відповідає букві b1, а2 – b2 і т.д. При цьому .

Розглянемо властивості безумовної ентропії.

  1.  Якщо відомо, що подія точно відбудеться (це еквівалентно передачі повідомлення з однією якісною ознакою), то його ентропія рівна нулю.
  2.  Якщо відомо, що подія точно не відбудеться (це еквівалентно відсутності i-ої якісної ознаки), то його ентропія рівна нулю.
  3.  Якщо дослід являє собою послідовність рівноімовірних подій (це еквівалентно передачі повідомлень з рівноімовірними взаємонезалежними символами), то ентропія є максимальною.
  4.  Якщо подія з рівною імовірністю може відбутися або не відбутися, то його ентропія максимальна.
  5.  Ентропія зі скінченою кількістю результатів завжди є додатною величиною.
  6.  Ентропія бінарного відношення володіє властивістю симетрії: збільшення або зменшення ймовірності будь-якого з елементів бінарного повідомлення на одну і ту ж величину приводить до однакової зміни ентропії.
  7.  Ентропія складного повідомлення, яке складається з деяких часткових повідомлень, рівна сумі ентропій складових повідомлення: .

Умовна ентропія

На практиці часто зустрічаються взаємозалежні символи та повідомлення. При передачі змістовних повідомлень одні букви зустрічаються частіше, інші рідше, одні букви і слова часто ідуть за іншими. Наприклад, в англійській мові найчастіше використовується буква е; у французькій після букви q завжди іде буква u,якщо q не стоїть в кінці слова. Щодо взаємодіючих систем, то переважно стан однієї з них впливає на стан іншої. В таких випадках ентропія не може визначатись лише на основі безумовних імовірностей.

При підрахунку середньої кількості інформації на символ повідомлення взаємозалежність враховують через умовні імовірності появи одних подій відносно інших. А отриману при цьому ентропію називають умовною ентропією.

Умовна ентропія використовується при визначенні взаємозалежності між символами первинного алфавіту, для визначення втрат при передачі інформації по каналах зв’язку, при обчисленні ентропії об’єднання.

Розглянемо текстове повідомлення. Якщо при передачі n повідомлень символ A з’явився m раз, символ B з’явився l раз, а символ A разом з символом Bk раз, то імовірність появи символу A ; імовірність появи символу B ; імовірність сумісної появи символів A та B .

Умовна імовірність появи символа A відносно символа B  і умовна імовірність появи символа B відносно символа A .

Якщо відомо умовну імовірність, то можна легко визначити й імовірність сумісної появи символів, використовуючи попередні формули:

.

Розглянемо формули умовної ентропії, використовуючи формулу Шеннона:

; (1)

, (2)

де індекс i вибрано для характеристики довільного стану джерела повідомлень A, індекс j вибрано для характеристики довільного стану адресату B.

Розрізняють поняття часткової та загальної умовної ентропії. Вирази (1) та (2) є частковими умовними ентропіями.

Загальна умовна ентропія повідомлення B відносно повідомлення A характеризує кількість інформації, яка міститься у будь-якому символі алфавіту, і визначається як сума імовірностей появи символів алфавіту помножена на невизначеність, яка залишається після того як адресат прийняв сигнал.(3)

Вираз (3) є загальним для визначення кількості інформації на один символ повідомлення для випадку нерівноімовірних та взаємозв’язаних символів.

Оскільки  являється імовірністю сумісної появи двох подій , то формулу (3) можна записати наступним чином:

(4)

Розглянемо властивості умовної ентропії.

  1.  Якщо ансамблі повідомлень A та B взаємонезалежні, то умовна ентропія A відносно B рівна безумовній ентропії A і навпаки:

.

  1.  Якщо ансамблі повідомлень A та Bнастільки жорстко статично пов’язані, що поява одного з них означає обов’язкову появу іншого, то їх умовні ентропії рівні нулю:

.

Ентропія об’єднання

Ентропія об’єднання використовується для обчислення ентропії сумісної появи статично залежних повідомлень. Наприклад, передаючи сто раз цифру 5 по каналу зв’язку з завадами, зауважили, що цифра 5 була прийнята 90 раз, цифра 6 – 8 раз і цифра 4 – 2 рази. Невизначеність виникнення комбінацій виду 5-4, 5-5, 5-6 при передачі цифри 5 може бути описана за допомогою ентропії об’єднання.

Ентропія об’єднання  - це невизначеність того, що буде посилатись A, а прийматись B. Для ансамблів переданих повідомлень та прийнятих повідомлень ентропія об’єднання являє собою суму вигляду

(5)

Ентропія об’єднання та умовна ентропія пов’язані між собою наступними співвідношеннями:

 

Властивості ентропії об’єднання:

  1.  Властивість симетрії: .
  2.  При відсутності статичної залежності між елементами ансамблів A та B умовні імовірності перетворюються на безумовні, тоді

.

  1.  При повній статичній залежності між елементами ансамблів A та B (наприклад, коли результат однієї події однозначно визначає інформацію про другу подію) умовні ентропії рівні нулю, тому

.

Обчислення кількості інформації при передачі повідомлень

по дискретному каналу.

Задача визначення кількості інформації або інформаційних втрат при передачі повідомлень по каналах зв’язку з завадами є однією з центральних в теорії інформації, оскільки практично не існує системи передачі без апаратних завад або завад у каналі зв’язку. Розглянемо процес передачі сигналів по каналу зв’язку із завадами, використовуючи умовну ентропію.

Якщо елементи джерела повідомлень приймають стани  з імовірностями відповідно , а елементи адресату – стани  з імовірностями відповідно , то часткова умовна ентропія  виражає невизначеність того, що, відправивши , ми отримаємо , а часткова умовна ентропія  – невпевненість, яка залишається після отримання  в тому, що було відправлено саме .

Іншими словами можна пояснити так. Якщо посилається  і в каналі зв’язку присутні завади, то з різною імовірністю може бути прийнятий будь-який з символів . І навпаки, прийнятий символ  може з’явитись в результаті відправлення будь-якого з символів . Якщо в каналі зв’язку немає завад, то завжди відісланому символу  відповідає прийнятий символ ,  – ,...,  – . При цьому ентропія джерела  рівна ентропії приймача . Якщо в каналі зв’язку є завади, то вони знищують або спотворюють частину інформації, що передається.

Інформаційні втрати описуються через часткову та загальну умовні ентропії. Обчислення часткових та загальної умовних ентропій зручно проводити за допомогою канальних матриць. Термін ”канальна матриця” означає: матриця, яка статистично описує даний канал зв’язку.

Якщо канал зв’язку описується зі сторони джерела повідомлень (тобто відомі символи, які посилаються), то ймовірність того, що при передачі символу  по каналу зв’язку з завадами отримаємо символ , позначається як умовна імовірність , а канальна матриця має вигляд

b1

bj

bm

a1

p(b1 / a1)

p(bj / a1)

p (bm /a1)

ai

p(b1 / ai)

p(bj / ai)

p(bm / ai)

am

p(b1 / am)

p(bj / am)

p(bm / am)

Імовірності, розміщені по діагоналі (виділені напівжирним шрифтом) при i=j, визначають імовірності правильного прийому, решта – хибного.

Проходження даного символу зі сторони джерела повідомлень в даному каналі зв’язку описується розподілом умовних імовірностей виду . Сумування проводиться по j, оскільки i-й стан є постійним. Втрати інформації, які припадають на долю символу ai описуються за допомогою часткової умовної ентропії, помноженої на імовірність появи цього символу на виході джерела .

 (1)

Наприклад, для символу a1 : ;

.

Втрати інформації при передачі усіх символів по даному каналу зв’язку описуються за допомогою загальної умовної ентропії.

У випадку нерівноімовірної появи символів на виході джерела повідомлень враховується імовірність появи кожного символу і множимо її на відповідну часткову умовну ентропію. Тому загальна умовна ентропія

 (2)

У випадку рівноімовірної появи символів на виході джерела повідомлень маємо

 

Якщо досліджувати канал зв’язку з боку приймача повідомлень (коли відомий прийнятий сигнал), то з отриманням символу  припускаємо, що посилався який-небудь з символів . При цьому канальна матриця буде мати вигляд

b1

bj

bm

a1

p(a1 / b1)

p(a1 / bj)

p(a1 / bm)

ai

p(ai / b1)

p(ai / bj)

p(ai / bm)

am

p(am / b1)

p(am / bj)

p(am / bm)

У цьому випадку сума умовних імовірностей кожного стовпця рівна одиниці: .

Втрати інформації, які припадають на долю символу bj: 

(3)

Втрати інформації при передачі усіх символів 

(4)

Розглянемо передачу повідомлень, використовуючи ентропію об’єднання. Взаємозв’язок переданих та прийнятих символів описується імовірностями сумісних подій виду , а взаємозв’язок між джерелом повідомлень та приймачем описується матрицею об’єднання, яка описує канал зв’язку:

b1

bj

bm

a1

p(a1 ,b1)

p(a1 , bj)

p(a1 , bm)

ai

p(ai , b1)

p(ai , bj)

p(ai , bm)

am

p(am , b1)

p(am , bj)

p(am , bm)

Матриця об’єднання має наступну властивість:

,

при цьому 

Наведена властивість дозволяє обчислювати ентропію джерела та приймача повідомлень безпосередньо за матрицею об’єднання:

 (5)

  (6)

У формулі (5) спочатку сумуємо по індексу j, а потім по i. У формулі (6) – навпаки: спочатку по i, потім по j.

Умовні імовірності за допомогою матриці об’єднання обчислюються так:

 (7)

Перейдемо до визначення кількості інформації при передачі повідомлень. Кількість інформації є характеристикою як джерела повідомлень A, так і приймача B. Вона характеризує взаємозв’язок між передавачем повідомлень і адресатом і є мірою відповідності прийнятих символів до тих, що передались. Отже, можна записати, що

Якщо втрати інформації в каналі зв’язку описуються за допомогою ентропії об’єднання, то кількість інформації, яка міститься у повідомленні, що передається по каналу зв’язку з завадами обчислюється наступним чином:

 (8)

Використовуючи властивість симетрії ентропії об’єднання, можна записати

.

Останню рівність запишемо в іншому вигляді:

 (9)

Таким чином, для повного опису каналу зв’язку необхідно задати: канальну матрицю виду  і безумовні імовірності , або канальну матрицю виду  і безумовні імовірності , або матрицю об’єднання .

Приклад. Канал зв’язку з завадами описано матрицею. Визначити

 

Розв’язування.

  1.  Знаходимо безумовні імовірності типу  та :

:

:

  1.  Ентропії джерела та приймача повідомлень:

Ентропія об’єднання (з матриці):

  1.  Середня кількість інформації на повідомлення:

Обчислення швидкості передачі інформації і пропускної здатності каналів зв’язку

В умовах відсутності завад швидкість передачі інформації визначається кількістю інформації, що переноситься символом повідомлення за одиницю часу, і рівна

,

де n – кількість символів, що виробляється джерелом повідомлень за одиницю часу;

 H – ентропія (невизначеність), яка усувається при отриманні одного символу повідомлень, що виробляються даним джерелом.

Швидкість передачі інформації також може обчислюватись як

, де – час передачі одного символу.

Швидкість передачі інформації завжди визначається відносно первинного алфавіту і залежить від його ентропії. А швидкість передачі сигналів обчислюється відносно вторинного алфавіту, якщо апаратура забезпечує передачу усіх якісних його ознак. Швидкість передачі сигналів обчислюється за формулою.

, де – час передачі одного символу вторинного алфавіту.

Таким чином, швидкість передачі інформації залежить від інформаційних характеристик джерела повідомлень, а швидкість передачі сигналів – від швидкодії апаратури. Ці величини не слід плутати, оскільки вони обчислюються за різними формулами і мають різну розмірність.

Для повідомлень, складених з рівноімовірних взаємонезалежних символів однакової тривалості, швидкість передачі інформації обчислюється так:

.

У випадку нерівноімовірних символів однакової тривалості

.

У випадку нерівноімовірних і взаємозалежних символів різної тривалості

 

Пропускна здатність (або ємність) каналу зв’язку – це максимальна швидкість передачі інформації по даному каналу зв’язку. Нагадаємо, що під каналом зв’язку розуміється сукупність засобів, призначених для передачі інформації від заданого джерела повідомлень до адресата. Отже, .

Для двійкового коду .

При наявності завад пропускна здатність каналу зв’язку обчислюється так:

 

Пропускна здатність реальних каналів зв’язку обчислюється за допомогою імовірностей помилкового (неправильного) прийому , які враховують дію завад. При цьому імовірність правильного прийому . Канал, в якому імовірності помилкових переходів однакові та імовірності правильного прийому одного символу дорівнює правильному прийому іншого символу, називаються симетричними.

В дійсності не існує абсолютно симетричних каналів зв’язку на інтервалі слова. Канали можуть бути симетричними на нескінченному участку. Практично симетричними каналами вважаються канали з близькими імовірностями прийому якісних ознак. Ряд каналів принципово несиметричні: це кабельні канали з цифровим зв’язком, канали з пасивною паузою. Однак, багато каналів з достатньою точністю описуються моделлю симетричного каналу.

Властивості симетричного каналу зв’язку:

  1.  Ентропії джерела та приймача рівні: .
  2.  Умовна ентропія симетрична: .
  3.  Середня кількість інформації в прийнятому ансамблі відносно переданого:

.

  1.  Канальна матриця зі сторони джерела і з боку приймача має однаковий вигляд.
  2.  В канальних матрицях сума імовірностей в кожному рядку і в кожному стовпці рівна одиниці.
  3.  Пропускна здатність від джерела до приймача дорівнює пропускній здатності від приймача до джерела.

Розглянемо швидкість передачі інформації симетричного бінарного каналу. Бінарним називається канал зв’язку, в якому повідомлення передаються за допомогою двох якісних ознак.

Оскільки в симетричному бінарному каналі  і , тоді

.

Пропускна здатність .

Пояснення 1+. З симетрії випливає, що максимальна швидкість передачі інформації буде для джерел, в яких імовірність передачі 0 і 1 рівні, тобто , а


 

А также другие работы, которые могут Вас заинтересовать

12439. Использование сервисов сети интернет для публикации видеофайлов 51.5 KB
  Лабораторная работа Тема: Использование сервисов сети интернет для публикации видеофайлов. Цель: Познакомиться с основными сервисами по размещению и публикации видеофайлов в сети интернет. Научиться размещать видеоролики в сети интернет на основных видеохостингах: ...
12440. Организация и проведение мероприятий по защите персональных данных 176.39 KB
  Практическая работа Тема Организация и проведение мероприятий по защите персональных данных Цель работы: научиться организовывать мероприятия по защите ПДн. Разрабатывать документацию по защите ПДн. Введение В соответствии с пунктом 1 статьи 16 Федерально
12441. Размещение сайта на хостинге в сети Интернет 272.22 KB
  Лабораторная работа № 9 Тема: Размещение сайта на хостинге в сети Интернет Цель: Познакомиться с сервисами размещения сайта в сети интернет. Научиться размещать сайт на бесплатном сервисе narod.ru Ход выполнения работы: 1. Введение Знакомство с Интернетом часто начин...
12442. Запись информации на компакт диск 1015.91 KB
  Лабораторная работа № 4 Тема: Запись информации на компакт диск Цель: Научиться записывать информацию на компакт диск. Ход выполнения работы 1. Общая информация Запись CD производится только на компьютерах имеющих записывающее CD/DVD устройство имеет надпись ...
12443. Создание медиатеки. Использование программы Picasa 17.27 KB
  Лабораторная работа № 2 Тема: Создание медиатеки. Использование программы Picasa. Цель: Научиться использовать программу Picasa для поиска и организованного размещения фотографий на персональном компьютере. Научиться использовать программу для создания коллажа из фотогра...
12444. Создание, структурирование и организация мультимедийной информации спомощью программы iTunes 229.42 KB
  Лабораторная работа № 3 Тема: Создание структурирование и организация мультимедийной информации спомощью программы iTunes. Цель: Научиться организовывать структурированное хранение мультимедийной информации используя возможности программы iTunes. Ход выполнения ра...
12445. Размещение файлов в файловых хранилищах сети Интернет 1.14 MB
  Практическая работа Тема: Размещение файлов в файловых хранилищах сети Интернет. Цель: Научиться рационально использовать интернетсервисы размещения и хранения файлов. Ход выполнения работы. Пользователь не раз сталкивается с ситуацией когда нужного файла н...
12446. Основные методы восстановления операционной системы 39.71 KB
  Лабораторная работа Тема: Основные методы восстановления операционной системы Цель: Научиться производить резервное архивирование и восстановление операционной системы. Ход выполнения работы: Теоретические сведения. Резервное копирование Многие про...