40149

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Представляет интерес определить собственное количество информации заключённое в непрерывном сообщении с тех же позиций что и для дискретного сообщения то есть с использованием понятия энтропии. Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова согласно которой если отсчёты непрерывного сообщения взять через интервал t=1 2Fc где Fc максимальная частота спектра реализации xt то непрерывная функция xt на интервале времени наблюдения [0T] эквивалентна...

Русский

2013-10-15

1.23 MB

15 чел.

PAGE   \* MERGEFORMAT 6

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Энтропия для непрерывного сообщения

Дискретизация непрерывного сообщения

Сообщение называется непрерывным, если оно является непрерывной функцией времени. В общем случае сообщение есть непрерывный случайный процесс, а конкретное сообщение реализация этого процесса. Представляет интерес определить собственное количество информации, заключённое в непрерывном сообщении, с тех же позиций, что и для дискретного сообщения, то есть с использованием понятия энтропии.

Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова, согласно которой если отсчёты непрерывного сообщения взять через интервал t=1/2Fc, где Fc - максимальная частота спектра реализации x(t), то непрерывная функция x(t) на интервале времени наблюдения [0,T] эквивалентна последовательности дискретных значений этой функции:

x(t) = [x(t), x(t2), .... x(tn)],                                                    (2.1)

где  

n = T/t = 2FcT.                                                          (2.2)

Замечаем, что число дискретов (2.2) непрерывного сообщения соответствует числу позиций в кодовой комбинации дискретного сообщения.

Теорема Котельникова позволяет заменить непрерывную функцию времени x(t) конечной последовательностью дискретов (2.1). Но при этом каждый дискрет x(t) в этой последовательности остается непрерывной величиной в том смысле, что он может занимать любое значение на числовой оси х. Однако в дискретном сообщении на любой позиции кода может находиться только один из возможных символов, составляющих алфавит из m символов, или в частном случае цифр. Поэтому в дискретной последовательности необходимо провести квантование по уровню.

Для квантования по уровню выбирают шаг квантования х =, находят наибольшее и наименьшее возможные значения сообщения xmax, xmin  и определяют число уровней m:

.                                                      (2.3)

Во всем размахе возможных значений [xmax-xmin] определяют разрешённые уровни x1,x2,…,xm. Процедура квантования в этом случае сводится к замене значения дискрета x(ti), занимающего произвольную точку на оси х, на ближайший разрешённый уровень (на рис. замена x(ti) на xi).

Число уровней m в этом случае будет эквивалентно числу символов алфавита m дискретного сообщения. Таким образом, один квантованный дискрет непрерывного сообщения может рассматриваться как один символ дискретного сообщения.

2.1.2  Эпсилон-энтропия непрерывного сообщения

Рассмотрим непрерывное сообщение в виде стационарного случайного процесса (t) с известной одномерной плотностью вероятности р(х).

Проведём дискретизацию сообщения, для чего определим разрешённые уровни (х1,x2,...,xm). Вероятность нахождения случайной величины на интервале  в соответствии с процедурой квантования будем рассматривать как вероятность рi того, что дискрет сообщения примет значение хi, тогда при достаточно малом шаге квантования х будет иметь место равенство

.                               (2.4)

Квантование дискрета непрерывного сообщения позволяет заменить непрерывную функцию плотности вероятности сообщения p(x) рядом вероятности, у которого возможными значениями служат разрешённые уровни х1, х2,…хm , а их соответствующие вероятности вычисляются по формуле (2.4).

Вышеприведённые предпосылки позволяют для определения энтропии непрерывного сообщения воспользоваться формулой (1.7),  полученной для дискретного сообщения. Подставив  (2.4) в формулу  (1.7), получим

,                              (2.5)

где воспользовались соотношением, =х. Если устремить xdx, то суммирование в (2.5) заменится интегрированием, которое распространим на всю числовую ось х. В то же время величину logx, которая зависит от х и при его приближении к нулю стремится к "", будем рассматривать как постоянную величину, не зависящую от х. В этом случае (2.5) примет вид

.                             (2.6)

По условию нормировки плотности вероятности имеет место равенство

,

то формулу (2.6) можно записать в виде

,                                       (2.7)

где - шаг квантования.

Из (2.7) следует, что энтропия непрерывного сообщения зависит как от плотности вероятности, так и от шага квантования. Причём при устремлении шага квантования к нулю теряется смысл выражения (2.7), так как

.                                                            (2.8)

В литературе по теории информации величина (2,7) называется эпсилон-энтропией по названию буквы , определяющей шаг квантования. Эпсилон-энтропию можно рассматривать как величину, определяющую среднее количество информации, приходящейся на один дискрет квантованного непрерывного сообщения.

Если конечные расчётные формулы представлять в виде разности энтропии, определяемых для одного и того же , то log  будет вычитаться. Сказанное позволяет не учитывать log  (или условно рассматривать = 1) и в качестве энтропии непрерывного сообщения использовать зависимость

,                                                    (2.9)

равную взятому со знаком минус математическому ожиданию логарифма плотности вероятности непрерывной случайной величины. В общем плане плотность вероятности р(х) является размерной величиной. Чтобы избежать некорректности, под логарифмом необходимо ставить р(х) в безразмерном виде, поделив её на единицу с размерностью плотности вероятности.

Энтропия (2.9) характеризует количество информации, приходящейся в среднем на один дискрет непрерывного сообщения. Если все дискреты на интервале [0, Т] являются независимыми случайными величинами, представляющими собой стационарный случайный процесс с одной и той же одномерной плотностью вероятности для всех своих сечений, то количество информации, заключённое в сообщении длительностью Т, определяется выражением

.                                                  (2.10)

Формула (2.10) совпадает с выражением (2.16) для количества информации кодовой комбинации из n позиций в коде.

2.1.3 Энтропия равномерного и гауссовского сообщений

Энтропия непрерывного сообщения зависит от закона распределения сообщения, рассматриваемого с позиций случайного процесса. Будем считать сообщение стационарным случайным процессом, распределение которого определено одномерной плотностью вероятности р(x). Найдём энтропии сообщений с равномерным и гауссовским распределениями и сравним полученные результаты.

Энтропия сообщения с равномерным распределением равна

,                                     (2.12)

где использовалось, что .

Из этого следует, что энтропия равномерного сообщения полностью определяется логарифмом размаха уровня возможных значений сообщения. Пользуясь вариационным исчислением, можно показать, что равномерное распределение по сравнению с другими законами распределений, как и в случае дискретного сообщения, обладает наибольшей энтропией, если задан размах (b-а) как интервал существования случайной величины. При гауссовском распределении плотность вероятности равна

.                                        (2.13)

Логарифм от (2.13), в свою очередь, будет соответствовать выражению

.                                       (2.14)

Энтропия гауссовского сообщения равна

,                     (2.15)

где при вычислении использовалось условие нормировки  и определение дисперсии: .

Из этого следует, что энтропия гауссовского распределения зависит от среднего квадратического отклонения . Этот результат соответствует физическому представлению, так как неопределённость случайной величины тем выше, чем больше степень разброса её возможных значений вокруг математического ожидания, то есть чем больше дисперсия 2. Это значит, что рост неизбежно приведет к увеличению энтропии, являющейся мерой неопределённости.

Полная удельная средняя мощность сообщения Рcp с нормальным распределением включает в себя мощность флюктуации 2 и мощность постоянной составляющей m2;

Рср= 2 + m2.                                             (2.16)

Поэтому с целью экономии мощности всегда, где это возможно, выбирают для гауссовского сообщения нулевое математическое ожидание.

В этом случае

,                                            (2.17)

для которого формула (2.15) в полной мере справедлива.

Пользуясь вариационным исчислением, можно показать, что гауссовское распределение, по сравнению с другими законами распределения непрерывного сообщения, обладает наибольшей энтропией, если наложить условие постоянства дисперсий, что физически соответствует постоянству средней мощности сравниваемых сообщений. Этот результат можно объяснить тем фактом, что при нормальном распределении наиболее вероятные квантованные сообщения передаются на нулевом уровне мощности. Приведенный вывод можно подтвердить сравнением дисперсий равномерного и гауссовского сообщений, обладающих одинаковыми энтропиями.

Пусть Hравн= Нгаус, тогда

;

;                                              (2.18)

.

Разделив обе части равенства на 12, получим

.                                                         (2.19)

Учитывая, что левая часть равенства (2.19) соответствует дисперсии Dравн равномерного распределения, а дисперсией гауссовского распределения Dгаус является 2, окончательно получим

                                                        (2.20)

Из этого следует, что для передачи одного и того же количества информации непрерывному сообщению с равномерным распределением потребуется затратить в 1,45 раз большую мощность, чем непрерывному сообщению с гауссовским распределением. Этот пример подтверждает, что гауссовское сообщение при заданной мощности обладает наибольшей информативностью, то есть при заданной мощности гауссовское сообщение передаёт своим дискретом наибольшее количество информации.

2.2 Производительность источника сообщений

Производительность источника сообщения определяется средним количеством информации, которое он создаёт в единицу времени, то есть скоростью создаваемой информации.

Рассмотрим источник дискретных сообщений. Его производительность R может быть определена формулой

,                                                          (2.21)

где -  длительность одного символа сообщения; Н - энтропия, равная среднему количеству информации, приходящейся на один символ сообщения.

Формула (2.21) получена в предположении, что длительность всех символов одинакова и они следуют один за другим. Если это условие не удовлетворяется, то под ; следует понимать среднюю длительность символа дискретного сообщения. Формулу удобнее переписать в виде

,                                           (2.22)

где F = 1/c - частота появления символа в дискретном сообщении.

Формулу, аналогичную (2.22), можно получить для характеристики производительности непрерывного сообщения. Исходным является выражение (2.21), в котором под Н понимается энтропия непрерывного сообщения,  а под c= t - интервал между дискретами, равный t = 1/2Fc . В этом случае для непрерывного сообщения имеем

,                                     (2.23)

где Fc – максимальная частота в спектре реализации непрерывного сообщения.


 

А также другие работы, которые могут Вас заинтересовать

82263. Язык социально-гуманитарных наук. Языковая картина мира и «языковые игры» 34.44 KB
  проблемы природы языка принципов и законов его функционирования начинают изучаться лингвистами логиками психологами и философами. Таким образом для языкознания важными вопросами становятся вопросы семантики а также проблемы взаимосвязи языка и мышления языка и предметного мира. Так швейцарский лингвист Фердинанд де Соссюр 1857–1913 указывает на то что предметом изучения лингвистики становится имманентная реальность языка. Также проблемы языка в первую очередь выдвигаются в логике.
82264. Интерпритация как придание смысла, значения высказываниям, текстам, явлениям, событиям 40.1 KB
  Это внешняя сторона интерпретации. Выделяя к качестве предмета изучения исторического познания текст мы не должны сводить процедуру интерпретации к набору грамматических языковых игр Л. Объективный план интерпретации как операции мышления представлен с одной стороны предметом исследования а с другой операциональным или формально логическим каркасом своего рода алгоритмом системой стандартных шагов правит принципов и приемов субъекта познания в ходе познавательной деятельности. Общепризнанным каноном процесса интерпретации в...
82265. Вера и знание, достоверность и сомнение. Диалектика веры и сомнения в процессе познания 32.72 KB
  В социальногуманитарных науках знание всегда сочетается с верой и сомнением так как вера ориентирована на преувеличение роли абсолютного момента в знании а сомнение – роли относительного – в нем. Вера присутствует в социальногуманитарных науках прежде всего в силу незавершенности познания социальных явлений как допущение возможности соответствия социальной реальности и его отражения в знании. Она также может присутствовать в социальногуманитарных науках: как вера ученогогуманитария в Бога ученый привносит в науку свою веру как его...
82266. Конструктивная роль веры как условия «бытия среди людей» (Л.Витгенштейн) Вера и верования 31.72 KB
  Витгенштейн Вера и верования. Вера возникает как необходимое следствие бытия среди людей утверждает Витгенштейн имеет социальнокоммуникативную природу. Вера – субъективная уверенность. Вера и знание имеют различные основания противоположно направленные.
82267. Вера и понимание в контексте коммуникаций. Вера и истина. Типы обоснования веры и знания. Соотношение веры и истины 36.66 KB
  Типы обоснования веры и знания. Одной из основных предпосылок философскометодологического анализа социальногуманитарного знания является рассмотрение научного познания в контексте культуры его связь с историческими особенностями и ценностными установками общества. Тема веры достоверности сомнения оказывается одной из фундаментальных в самых разных областях и на разных этапах научного познания. Соотношение различных духовноценностных установок веры и научного знания поразному влияло на развитие науки.
82268. Натуралистическая исследовательская программа 38.77 KB
  Сегодня вопрос об исследовательской программе или близком к ней понятии парадигмы в социальных науках сталкивается с двумя трудностями: 1 избрания масштаба исследования; 2 многообразия исследовательских программ господствующего сегодня в социальногуманитарных науках. Какие исследовательские программы парадигмы можно выделять 1 Классическая философия были ориентирована на природу и изучающие ее науки на следующую отсюда натуралистическую парадигму. Последователи натуралистической исследовательской программы полагают: либо предмет наук...
82269. Антинатуралистическая исследовательская программа и ее общенаучное значение 36.58 KB
  Природа остается в качестве предпосылки деятельности человека но культур центризмом не схватывается оставляя место натурализму Другой причиной жизненности натуралистической исследовательской программы является вызванное объективными социальными изменениями крушение классических рационалистических установок. Она по существу указала на границы натуралистической программы. Натуралистическая и антинатуралистическая программы направлены на изучение одного и того же объекта но в соответствии со своей методологией исследовательской программой...
82270. Применение натуралистической и антинатуралистической исследовательских программ ва социально –гуманитарных науках 33.52 KB
  В них присутствуют: натуралистическая парадигма общества основные варианты: механицизм физикализм биологизм географический детерминизм демографический детерминизм – общество понимается как жестко-детерминированная система обусловленная влиянием определенных природных факторов климата полезных ископаемых территории и т. оно рассматривается с редукционистских позиций; антинатуралистическая парадигма общества основные варианты: социологизм экономизм психологизм антипсихологизм – общество понимается как...
82271. Проблема разделения социальных и гуманитарных наук пол предмету, по методу, по предмету и методу одновременно, по исследовательским программам 34.01 KB
  В настоящее время считается что естественные науки и социально-гуманитарные науки имеют как общие так и различные характеристики. Естественные и социально-гуманитарные науки обладают всеми признаками науки как особого феномена познание нового наличие эмпирического и теоретического уровней оформленность в понятиях и т. Вместе с тем социально-гуманитарные науки отличаются от естественно-математических и технических наук по следующим основаниям: по объекту исследования – естественные науки изучают природную реальность т. то что существует...