40151

ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ ИНФОРМАЦИИ

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Кодирование линии связи заключается в преобразовании закодированного сообщения при котором обеспечивается возможность надежной синхронизации и минимум искажений при трансляции сообщения через линию связи среду передачи информации при этом число исходных комбинаций равно числу закодированных. В теоретическом плане эта возможность основывается на наличии избыточности сообщения. Под избыточностью сообщения понимают разность между максимально возможной и реальной энтропией . Максимально возможная энтропия определяется для случая когда...

Русский

2013-10-15

87.5 KB

59 чел.

PAGE   \* MERGEFORMAT 1

ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ ИНФОРМАЦИИ

Типы кодирования

 

В общем случае существует четыре типа кодирования:

1. Кодирование источника информации состоит в дискретизации по времени и уровню и в случае непрерывных сообщений при максимально возможном сжатии информации до дискретизации или после нее в целях экономии ресурсов каналов связи или памяти. Получаемый при этом код называется первичным или натуральным. Примеры: ЦАП, цифровая телефония, программы архиваторы RAR, ZIP и т.д.

2. Кодирование канала заключается в расширении кодового алфавита, позволяющем распознавать и исправлять ошибки после передачи через канал связи, при этом число исходных комбинаций первичного кода меньше числа закодированных. Такое кодирование называется помехоустойчивым кодированием.

3. Кодирование линии связи заключается в преобразовании закодированного сообщения, при котором обеспечивается возможность надежной синхронизации и минимум искажений при трансляции сообщения через линию связи (среду передачи информации), при этом число исходных комбинаций равно числу закодированных.

4. Криптографическое кодирование состоит в засекречивании данных в целях исключения несанкционированного доступа к информации в процессе ее хранения и передачи.

4.2 Избыточность сообщений и ее роль.

Кодирование сообщений в системах связи

При чтении какого-либо текста можно по смыслу найти и исправить неверно напечатанные, буквы. В теоретическом плане эта возможность основывается на наличии избыточности сообщения.

Под избыточностью сообщения понимают разность между максимально возможной  и реальной энтропией . Максимально возможная энтропия  определяется для случая, когда все символы дискретного сообщения равновероятны и независимы. Тогда при алфавите из m символов

.                                                   

Реальная энтропия H определяется для случая, когда символы алфавита имеют разную вероятность появления и, кроме того, в самом многопозиционном сообщении символы зависимы между собой.

Для характеристики избыточности  сообщения используется коэффициент избыточности D, определяемый выражением

 .

В русском алфавите . На самом деле буквы неравномерны и зависимы. Поэтому реальная энтропия русского языка составляет . Коэффициент избыточности русского языка равен . Увеличение избыточности, приводящее к уменьшению , уменьшает скорость передачи информации и приводит, соответственно, к росту времени, необходимого на передачу одного и того же количества информации. В этом смысле избыточность играет отрицательную роль.

В то же время наличие избыточности позволяет создать коды с обнаружением и исправлением ошибок, обусловленных действием помех.

Поясним принцип создания кода с исправлением ошибок на основе использования избыточности.

Пусть требуется по каналу связи передать равновероятные сообщения "да" и "нет". В сообщении будет отсутствовать избыточность, если выбрать двоичный однопозиционный код (m = 2, n = 1), приписав "да" символу 1 и "нет" - символу 0. Энтропия кода будет равна бит/символ. В канале связи из-за действия помех может произойти замена или, как говорят, инвертирование символов с вероятностью ошибки Рe = 0,1. Это означает, что с такой вероятностью обеспечивается прием передаваемого сообщения.

Теперь выбираем двоичный трёхпозиционный код (m = 2, n = 3), приписав "да" кодовой комбинации 111 и "нет" комбинации 000. В этом случае для передачи информации в 1 бит потребуется три символа, Н = 1/3 бит/символ. Налицо избыточность, так как , что приводит к уменьшению скорости передачи информации в три раза и, соответственно, к увеличению в три раза времени, потребного для передачи одного сообщения. На приёмном конце наряду с комбинациями 111, 000 могут возникнуть из-за действия помех комбинации 001, 010, 011, 100, 101, 110. Принимаемые кодовые комбинации, содержащие две или три единицы, будем воспринимать как сообщение "да", а принимаемые кодовые комбинации, содержащие два или три нуля, - как сообщение "нет". В этом случае инвертирование помехой одного символа комбинации не приводит к ошибке. Ошибка появляется лишь тогда, когда под действием помехи произойдет замена двух или трёх символов. Рассчитаем вероятность Pош этой ошибки, пользуясь формулой Бернулли, когда число испытаний равно числу позиций в коде n = 3, вероятность осуществления события в одном испытании равно вероятности ошибки   Имеем

Заметим, что вероятность ошибки в трехпозиционном коде с избыточностью при вероятности инвертирования из-за помехи одного символа Ре= 0.1 получилась приблизительно 0.1/0.028 3,5 раза меньше по сравнению с однопозиционным кодом без избыточности при том же уровне помех.

4.3 Теоремы кодирования для каналов без помех и с помехами

 

Рассмотрим дискретный канал связи без помех. Пусть источник сообщения характеризуется производительностью

бит/с,

где Fс  - средняя частота появления символа в единицу времени;  - энтропия сообщения.

В свою очередь, дискретный канал связи без помех характеризуется пропускной способностью, определяемой наибольшей возможной скоростью передачи информации в канале, когда условная энтропия равна нулю

бит/с ,

где m - число символов в алфавите сообщения; F - полоса пропускания канала.

В общем плане согласование источника сообщений с каналом состоит не в том, чтобы обеспечить согласование Fс с F, а в том, чтобы обеспечить согласование R с С.

Существует теорема Шеннона для дискретного канала связи без помех. Если пропускная способность канала превышает производительность источника сообщений, то есть выполняется условие

,

то существует такой способ кодирования сообщения, при котором скорость передачи информации в канале R будет сколь угодно близкой к пропускной способности канала С. Если условие не выполняется, то такого способа кодирования нет.

Если рассматривается дискретный канал связи с помехами, то его пропускная способность определяется выражением

.

Существует вторая теорема Шеннона. Для дискретного канала связи с помехами существует такой способ кодирования, при котором может быть обеспечена безошибочная передача всей информации, поступающей от источника сообщений, если только пропускная способность канала превышает производительность источника сообщений, то есть выполняется условие

C > R .

Если условие не выполняется, то способа кодирования, обеспечивающего сколь угодно малую вероятность ошибки, не существует.

Приведенные теоремы Шеннона играют роль предельных теорем. Они указывают на возможность достижения необходимого кодирования, но не позволяют сформулировать сам способ кодирования. Однако эти теоремы послужили толчком к бурному развитию прикладной теории кодирования.

Теория кодирования развивается в двух главных направлениях: во-первых, поиски кодов, позволяющих в каналах без помех максимально устранить избыточность источника и тем самым повысить скорость передачи информации. Этим занимается теория экономического кодирования. Её теоретической основой является первая теорема Шеннона. Во-вторых, поиски кодов, повышающих достоверность передачи информации в каналах с помехами. Этим занимается теория помехоустойчивого кодирования. Её теоретической основой является вторая теорема Шеннона.

Практическая реализация кодирования на передающей стороне всегда предполагает применение обратной процедуры – декодирования – для восстановления принятого сообщения. Устройства, осуществляющие кодирование и декодирование, называются соответственно кодер и декодер. Выполняются они обычно в одной микросхеме и образуют устройство, называемое  кодеком.


 

А также другие работы, которые могут Вас заинтересовать

30778. Технико-экономическое сравнение вариантов 13.75 KB
  Исходя из того требуется ли нам выполнить проект быстро или дешево выбирают метод монтажа по раннее подсчитанным показателям : механоёмкости трудоёмкости продолжительности монтажа себестоимости выполнения работ и приведённым затратам. Механоёмкость затраты машинного времени на выполнение единицы монтажа также по ЕНиР. Продолжительность монтажа считается по количеству машиночасов всех монтажных кранов с учётом частичного совмещения во времени их работы на объекте. Себестоимость монтажа сумма прямых затрат и накладных расходов.
30779. Монтаж одноэтажных промышленных зданий. Методы монтажа. Продольная и поперечная схема 16.88 KB
  В этом случае кран двигаясь вдоль пролета монтирует все колонны а затем перемещаясь поперек пролета ведет секционный монтаж. Перед монтажом колонн проверяют их размеры и наносят риски облегчающие установку колонны в стакан фундамента или на оголовки подколенников. Тяжелые колонны обычно монтируют с транспортных средств или предварительно раскладывают колонны основанием обращенным к фундаментам. Тяжелые колонны поднимают и переводят в вертикальное положение способом поворота или скольжения.
30780. Основные технологические процессы при монтаже ж\б колонн в стаканы фундаментов 14.26 KB
  Тяжелые колонны обычно монтируют с транспортных средств или предварительно раскладывают колонны основанием обращенным к фундаментам. Колонны легкого типа как правило предварительно доставляют в зону монтажа и раскладывают вершинами обращенными к фундаменту. Тяжелые колонны поднимают и переводят в вертикальное положение способом поворота или скольжения. Особо тяжелые и нетранспортабельные железобетонные колонны бетонируют в инвентарных формах на позициях обеспечивающих удобное движение монтажного крана и установку с каждой позиции одной...
30781. Монтаж многоэтажных каркасных зданий, последовательность монтажа элементов 15.51 KB
  Монтаж многоэтажных каркасных зданий последовательность монтажа элементов. Монтаж совокупность технологических процессов связанных с доставкой конструктивных элементов установкой и закреплением. Методы монтажа техническое решение определяющее способ возведения конструкции и последующей сборки: По степени укрупнения: А поэлементный подъём и установка в проектное положение отдельных готовых конструктивных элементов Б крупноблочный конструкции предварительно собираются в блок укрупнит.сборка В монтаж сооружения целиком В...
30782. Монтаж многоэтажных каркасных зданий, расположение монтажных кранов, зон складирования, привязка подкрановых путей 15.6 KB
  Монтаж многоэтажных каркасных зданий расположение монтажных кранов зон складирования привязка подкрановых путей. При размещении привязке монтажных кранов на стройгенплане должны быть удовлетворены следующие условия: четкая ритмичная работа кранов и связанных с ними других строительных механизмов и машин безопасные условия труда машинистов и обслуживающего персонала снижение себестоимости и трудоемкости работ сокращение временина установку кранов и устройство подкрановых путей. Положение оси подкрановых путей относительно строящегося...
30783. Основные технологические процессы при монтаже колонн верхних ярусов многоэтажных зданий 15.14 KB
  Колонны высотой на один или два этажа стропят фрикционными или рамочными захватами а рамы штыревыми. Эти приспособления бывают одиночными для закрепления одной колонны групповыми для четырех колонн и в виде совокупности групповых кондукторов обеспечивающей монтаж элементов яруса на значительной части здания. Нижняя обойма обхватывает выступающую над перекрытием часть колонны предыдущего яруса а две другие закрепляют устанавливаемую колонну. После окончательного закрепления колонны одиночный кондуктор разъединяют...
30784. Основные технологические процессы при монтаже ригелей и плит перекрытия 13.13 KB
  Плиты поднимают четырехветвевыми стропами сразу выверяют и приваривают к ригелям. В безбалочных перекрытиях по капителям укладывают осевые плиты а по ним плитывкладыши.
30785. Виды защитных покрытий и требования к ним 14.84 KB
  Защитные покрытия предназначены для защиты зданий и их элементов от внешних агрессивных воздействий окружающей среды. Защитные покрытия в зависимости от поражающих факторов бывают : Гидроизоляционные Антикоррозийные Огнеупорные теплоизоляционные светонепроницаемые и др.войлок Противокоррозийные покрытия защищают от коррозии наносятся окраской распылением.
30786. Технология устройства гидроизоляции 15.47 KB
  Гидроизоляция: Окрасочная Литая Оклеечная Жёсткая Окрасочную изоляцию жидкими составами толщиной 02. Литую асфальтовую изоляцию в виде сплошного водонепроницаемого слоя асфальтовой массы толщиной 10. На нее наносят слой битумной мастики толщиной 1. Швы между полотнищами очередных слоев смещают по отношению друг к другу Жесткая гидроизоляция цементнопесчаная гидроизоляция толщиной до 25 мм состава 1:1; 1 : 2; 1 : 3 устраивают двумя способами торкретированием и оштукатуриванием.