40151

ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ ИНФОРМАЦИИ

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Кодирование линии связи заключается в преобразовании закодированного сообщения при котором обеспечивается возможность надежной синхронизации и минимум искажений при трансляции сообщения через линию связи среду передачи информации при этом число исходных комбинаций равно числу закодированных. В теоретическом плане эта возможность основывается на наличии избыточности сообщения. Под избыточностью сообщения понимают разность между максимально возможной и реальной энтропией . Максимально возможная энтропия определяется для случая когда...

Русский

2013-10-15

87.5 KB

59 чел.

PAGE   \* MERGEFORMAT 1

ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ ИНФОРМАЦИИ

Типы кодирования

 

В общем случае существует четыре типа кодирования:

1. Кодирование источника информации состоит в дискретизации по времени и уровню и в случае непрерывных сообщений при максимально возможном сжатии информации до дискретизации или после нее в целях экономии ресурсов каналов связи или памяти. Получаемый при этом код называется первичным или натуральным. Примеры: ЦАП, цифровая телефония, программы архиваторы RAR, ZIP и т.д.

2. Кодирование канала заключается в расширении кодового алфавита, позволяющем распознавать и исправлять ошибки после передачи через канал связи, при этом число исходных комбинаций первичного кода меньше числа закодированных. Такое кодирование называется помехоустойчивым кодированием.

3. Кодирование линии связи заключается в преобразовании закодированного сообщения, при котором обеспечивается возможность надежной синхронизации и минимум искажений при трансляции сообщения через линию связи (среду передачи информации), при этом число исходных комбинаций равно числу закодированных.

4. Криптографическое кодирование состоит в засекречивании данных в целях исключения несанкционированного доступа к информации в процессе ее хранения и передачи.

4.2 Избыточность сообщений и ее роль.

Кодирование сообщений в системах связи

При чтении какого-либо текста можно по смыслу найти и исправить неверно напечатанные, буквы. В теоретическом плане эта возможность основывается на наличии избыточности сообщения.

Под избыточностью сообщения понимают разность между максимально возможной  и реальной энтропией . Максимально возможная энтропия  определяется для случая, когда все символы дискретного сообщения равновероятны и независимы. Тогда при алфавите из m символов

.                                                   

Реальная энтропия H определяется для случая, когда символы алфавита имеют разную вероятность появления и, кроме того, в самом многопозиционном сообщении символы зависимы между собой.

Для характеристики избыточности  сообщения используется коэффициент избыточности D, определяемый выражением

 .

В русском алфавите . На самом деле буквы неравномерны и зависимы. Поэтому реальная энтропия русского языка составляет . Коэффициент избыточности русского языка равен . Увеличение избыточности, приводящее к уменьшению , уменьшает скорость передачи информации и приводит, соответственно, к росту времени, необходимого на передачу одного и того же количества информации. В этом смысле избыточность играет отрицательную роль.

В то же время наличие избыточности позволяет создать коды с обнаружением и исправлением ошибок, обусловленных действием помех.

Поясним принцип создания кода с исправлением ошибок на основе использования избыточности.

Пусть требуется по каналу связи передать равновероятные сообщения "да" и "нет". В сообщении будет отсутствовать избыточность, если выбрать двоичный однопозиционный код (m = 2, n = 1), приписав "да" символу 1 и "нет" - символу 0. Энтропия кода будет равна бит/символ. В канале связи из-за действия помех может произойти замена или, как говорят, инвертирование символов с вероятностью ошибки Рe = 0,1. Это означает, что с такой вероятностью обеспечивается прием передаваемого сообщения.

Теперь выбираем двоичный трёхпозиционный код (m = 2, n = 3), приписав "да" кодовой комбинации 111 и "нет" комбинации 000. В этом случае для передачи информации в 1 бит потребуется три символа, Н = 1/3 бит/символ. Налицо избыточность, так как , что приводит к уменьшению скорости передачи информации в три раза и, соответственно, к увеличению в три раза времени, потребного для передачи одного сообщения. На приёмном конце наряду с комбинациями 111, 000 могут возникнуть из-за действия помех комбинации 001, 010, 011, 100, 101, 110. Принимаемые кодовые комбинации, содержащие две или три единицы, будем воспринимать как сообщение "да", а принимаемые кодовые комбинации, содержащие два или три нуля, - как сообщение "нет". В этом случае инвертирование помехой одного символа комбинации не приводит к ошибке. Ошибка появляется лишь тогда, когда под действием помехи произойдет замена двух или трёх символов. Рассчитаем вероятность Pош этой ошибки, пользуясь формулой Бернулли, когда число испытаний равно числу позиций в коде n = 3, вероятность осуществления события в одном испытании равно вероятности ошибки   Имеем

Заметим, что вероятность ошибки в трехпозиционном коде с избыточностью при вероятности инвертирования из-за помехи одного символа Ре= 0.1 получилась приблизительно 0.1/0.028 3,5 раза меньше по сравнению с однопозиционным кодом без избыточности при том же уровне помех.

4.3 Теоремы кодирования для каналов без помех и с помехами

 

Рассмотрим дискретный канал связи без помех. Пусть источник сообщения характеризуется производительностью

бит/с,

где Fс  - средняя частота появления символа в единицу времени;  - энтропия сообщения.

В свою очередь, дискретный канал связи без помех характеризуется пропускной способностью, определяемой наибольшей возможной скоростью передачи информации в канале, когда условная энтропия равна нулю

бит/с ,

где m - число символов в алфавите сообщения; F - полоса пропускания канала.

В общем плане согласование источника сообщений с каналом состоит не в том, чтобы обеспечить согласование Fс с F, а в том, чтобы обеспечить согласование R с С.

Существует теорема Шеннона для дискретного канала связи без помех. Если пропускная способность канала превышает производительность источника сообщений, то есть выполняется условие

,

то существует такой способ кодирования сообщения, при котором скорость передачи информации в канале R будет сколь угодно близкой к пропускной способности канала С. Если условие не выполняется, то такого способа кодирования нет.

Если рассматривается дискретный канал связи с помехами, то его пропускная способность определяется выражением

.

Существует вторая теорема Шеннона. Для дискретного канала связи с помехами существует такой способ кодирования, при котором может быть обеспечена безошибочная передача всей информации, поступающей от источника сообщений, если только пропускная способность канала превышает производительность источника сообщений, то есть выполняется условие

C > R .

Если условие не выполняется, то способа кодирования, обеспечивающего сколь угодно малую вероятность ошибки, не существует.

Приведенные теоремы Шеннона играют роль предельных теорем. Они указывают на возможность достижения необходимого кодирования, но не позволяют сформулировать сам способ кодирования. Однако эти теоремы послужили толчком к бурному развитию прикладной теории кодирования.

Теория кодирования развивается в двух главных направлениях: во-первых, поиски кодов, позволяющих в каналах без помех максимально устранить избыточность источника и тем самым повысить скорость передачи информации. Этим занимается теория экономического кодирования. Её теоретической основой является первая теорема Шеннона. Во-вторых, поиски кодов, повышающих достоверность передачи информации в каналах с помехами. Этим занимается теория помехоустойчивого кодирования. Её теоретической основой является вторая теорема Шеннона.

Практическая реализация кодирования на передающей стороне всегда предполагает применение обратной процедуры – декодирования – для восстановления принятого сообщения. Устройства, осуществляющие кодирование и декодирование, называются соответственно кодер и декодер. Выполняются они обычно в одной микросхеме и образуют устройство, называемое  кодеком.


 

А также другие работы, которые могут Вас заинтересовать

27766. Коррекция активно-волевых дефектов (слабоволие – причина многих отклонений поведения) 14.26 KB
  через насыщение любимым делом подойти к личному удовлетворению и к выполнению нелюбимой работы; соблюдение дозировки всякой работы и постепенное увеличение нагрузки на ребенка; интересно обставленный труд с желательным достижением поставленной цели и как следствие самовоспитание и самообладание; формирование стойкости и мужества перед естественными неудачами жизни. физическое воспитание: естественные движения подвижные игры танцетворчество физическое оздоровление и исправление слабости характера развитие выносливости выдержки...
27767. Функции социального педагога 18.81 KB
  Коррекционная: осуществление коррекции всех воспитательных влияний оказываемых на детей и подростков как со стороны семьи так и социальной среды в том числе и неформальной; усиление позитивных влияний и нейтрализация или переключение негативных влияний социальной среды. Социально профилактическая и реабилитационная: организация системы профилактических мер по предупреждению отклоняющегося девиантного и преступного делинквентного поведения детей и подростков; влияние на формирование нравственно правовой устойчивости; ...
27768. Педология 15.29 KB
  Несмотря на имевшиеся недостатки переоценивание роли биологических или социальных факторов в формировании ребенка использование технократических методов исследования отсутствие должного взаимодействия с другими науками педология внесла неоценимый вклад в развитие социальной педагогики. постановлением О педологических извращениях в системе Наркомпросов педология была объявлена лженаукой а педологи лжеучеными мракобесами и даже фашистскими прихвостнями и изгнаны из школы на них обрушились репрессии [4].
27769. Человек как жертва процесса социализации 17.19 KB
  Человек не только объект и субъект социализации. Это связано с тем что процесс и результат социализации заключают в себе внутреннее противоречие. Таким образом можно констатировать что в процессе социализации заложен внутренний до конца не разрешимый конфликт между степенью адаптации человека в обществе и степенью обособления его в обществе.
27770. Песталоцци 18.14 KB
  Передовая студенческая молодежь к которой принадлежал Песталоцци организовала кружок патриотов находившийся под влиянием идей французских просветителей и в первую очередь Руссо. Цюрихские власти подвергли кратковременному аресту нескольких активных членов кружка в том числе и Песталоцци. Выйдя из тюрьмы Песталоцци не завершив своего образования поселился в деревне в имении Нейгоф чтобы организовать образцовое сельское хозяйство которое могло бы наглядно показать крестьянам как улучшить свое положение. Но этот утопический...
27771. Социальный педагог 16.1 KB
  Социальный педагог осуществляет социальнопедагогическую деятельность со всеми категориями населения: с детьми подростками молодежью взрослыми. Социальный педагог является связующим звеном между клиентом и его окружением посредником в системе взаимодействия личности семьи общества. или специализированных учреждениях отделение социальной помощи детский дом центр реабилитации социальный приют медикопсихологическая консультация телефон доверия центр занятости и трудоустройства и т.
27772. Планирования работы с неблагополучными семьями 18.87 KB
  Программа работы варьируется в связи с изменившимися условиями но обязательно заслушивается на заседании общественной инспекции по делам несовершеннолетних при администрации поселка или комиссии по делам несовершеннолетних и защите их прав о выполнении данной программы. Поэтому социальный педагог должен взаимодействовать с учителями классными руководителями семьей и ребенком приложить все усилия для результативной работы. Одна из форм работы социального педагога с семьей социальный патронаж представляющая собой посещение семьи на дому с...
27773. Педагогическая деятельность Л. Н. Толстого 25.96 KB
  Толстой вступил как он сам писал об этом позже в период трехлетнего страстного увлечения этим делом. Толстой считал что наступило время вспомним что тогда Россия переживала период первой революционной ситуации и подъема общественнопедагогического движения когда образованные люди страны должны активно помогать народным массам испытывавшим огромную потребность в образовании удовлетворить это их законное стремление не доверяя столь важного дела царской власти. Толстой систематически освещал в своем педагогическом журнале Ясная...
27774. Социализирующие функции семьи 26.46 KB
  На всех этапах социализации образовательный уровень семьи интересы ее членов сказываются на интеллектуальном развитии человека на том какие пласты культуры он усваивает на стремлении к продолжению образования и к самообразованию. Вчетвертых семья имеет важное значение в овладении человеком социальными нормами а когда речь идет о нормах определяющих исполнение им семейных ролей влияние семьи становится кардинальным. Ценности и атмосфера семьи определяют и то насколько она становится средой саморазвития и ареной самореализации ее...