40149

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Представляет интерес определить собственное количество информации заключённое в непрерывном сообщении с тех же позиций что и для дискретного сообщения то есть с использованием понятия энтропии. Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова согласно которой если отсчёты непрерывного сообщения взять через интервал t=1 2Fc где Fc максимальная частота спектра реализации xt то непрерывная функция xt на интервале времени наблюдения [0T] эквивалентна...

Русский

2013-10-15

1.23 MB

16 чел.

PAGE   \* MERGEFORMAT 6

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Энтропия для непрерывного сообщения

Дискретизация непрерывного сообщения

Сообщение называется непрерывным, если оно является непрерывной функцией времени. В общем случае сообщение есть непрерывный случайный процесс, а конкретное сообщение реализация этого процесса. Представляет интерес определить собственное количество информации, заключённое в непрерывном сообщении, с тех же позиций, что и для дискретного сообщения, то есть с использованием понятия энтропии.

Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова, согласно которой если отсчёты непрерывного сообщения взять через интервал t=1/2Fc, где Fc - максимальная частота спектра реализации x(t), то непрерывная функция x(t) на интервале времени наблюдения [0,T] эквивалентна последовательности дискретных значений этой функции:

x(t) = [x(t), x(t2), .... x(tn)],                                                    (2.1)

где  

n = T/t = 2FcT.                                                          (2.2)

Замечаем, что число дискретов (2.2) непрерывного сообщения соответствует числу позиций в кодовой комбинации дискретного сообщения.

Теорема Котельникова позволяет заменить непрерывную функцию времени x(t) конечной последовательностью дискретов (2.1). Но при этом каждый дискрет x(t) в этой последовательности остается непрерывной величиной в том смысле, что он может занимать любое значение на числовой оси х. Однако в дискретном сообщении на любой позиции кода может находиться только один из возможных символов, составляющих алфавит из m символов, или в частном случае цифр. Поэтому в дискретной последовательности необходимо провести квантование по уровню.

Для квантования по уровню выбирают шаг квантования х =, находят наибольшее и наименьшее возможные значения сообщения xmax, xmin  и определяют число уровней m:

.                                                      (2.3)

Во всем размахе возможных значений [xmax-xmin] определяют разрешённые уровни x1,x2,…,xm. Процедура квантования в этом случае сводится к замене значения дискрета x(ti), занимающего произвольную точку на оси х, на ближайший разрешённый уровень (на рис. замена x(ti) на xi).

Число уровней m в этом случае будет эквивалентно числу символов алфавита m дискретного сообщения. Таким образом, один квантованный дискрет непрерывного сообщения может рассматриваться как один символ дискретного сообщения.

2.1.2  Эпсилон-энтропия непрерывного сообщения

Рассмотрим непрерывное сообщение в виде стационарного случайного процесса (t) с известной одномерной плотностью вероятности р(х).

Проведём дискретизацию сообщения, для чего определим разрешённые уровни (х1,x2,...,xm). Вероятность нахождения случайной величины на интервале  в соответствии с процедурой квантования будем рассматривать как вероятность рi того, что дискрет сообщения примет значение хi, тогда при достаточно малом шаге квантования х будет иметь место равенство

.                               (2.4)

Квантование дискрета непрерывного сообщения позволяет заменить непрерывную функцию плотности вероятности сообщения p(x) рядом вероятности, у которого возможными значениями служат разрешённые уровни х1, х2,…хm , а их соответствующие вероятности вычисляются по формуле (2.4).

Вышеприведённые предпосылки позволяют для определения энтропии непрерывного сообщения воспользоваться формулой (1.7),  полученной для дискретного сообщения. Подставив  (2.4) в формулу  (1.7), получим

,                              (2.5)

где воспользовались соотношением, =х. Если устремить xdx, то суммирование в (2.5) заменится интегрированием, которое распространим на всю числовую ось х. В то же время величину logx, которая зависит от х и при его приближении к нулю стремится к "", будем рассматривать как постоянную величину, не зависящую от х. В этом случае (2.5) примет вид

.                             (2.6)

По условию нормировки плотности вероятности имеет место равенство

,

то формулу (2.6) можно записать в виде

,                                       (2.7)

где - шаг квантования.

Из (2.7) следует, что энтропия непрерывного сообщения зависит как от плотности вероятности, так и от шага квантования. Причём при устремлении шага квантования к нулю теряется смысл выражения (2.7), так как

.                                                            (2.8)

В литературе по теории информации величина (2,7) называется эпсилон-энтропией по названию буквы , определяющей шаг квантования. Эпсилон-энтропию можно рассматривать как величину, определяющую среднее количество информации, приходящейся на один дискрет квантованного непрерывного сообщения.

Если конечные расчётные формулы представлять в виде разности энтропии, определяемых для одного и того же , то log  будет вычитаться. Сказанное позволяет не учитывать log  (или условно рассматривать = 1) и в качестве энтропии непрерывного сообщения использовать зависимость

,                                                    (2.9)

равную взятому со знаком минус математическому ожиданию логарифма плотности вероятности непрерывной случайной величины. В общем плане плотность вероятности р(х) является размерной величиной. Чтобы избежать некорректности, под логарифмом необходимо ставить р(х) в безразмерном виде, поделив её на единицу с размерностью плотности вероятности.

Энтропия (2.9) характеризует количество информации, приходящейся в среднем на один дискрет непрерывного сообщения. Если все дискреты на интервале [0, Т] являются независимыми случайными величинами, представляющими собой стационарный случайный процесс с одной и той же одномерной плотностью вероятности для всех своих сечений, то количество информации, заключённое в сообщении длительностью Т, определяется выражением

.                                                  (2.10)

Формула (2.10) совпадает с выражением (2.16) для количества информации кодовой комбинации из n позиций в коде.

2.1.3 Энтропия равномерного и гауссовского сообщений

Энтропия непрерывного сообщения зависит от закона распределения сообщения, рассматриваемого с позиций случайного процесса. Будем считать сообщение стационарным случайным процессом, распределение которого определено одномерной плотностью вероятности р(x). Найдём энтропии сообщений с равномерным и гауссовским распределениями и сравним полученные результаты.

Энтропия сообщения с равномерным распределением равна

,                                     (2.12)

где использовалось, что .

Из этого следует, что энтропия равномерного сообщения полностью определяется логарифмом размаха уровня возможных значений сообщения. Пользуясь вариационным исчислением, можно показать, что равномерное распределение по сравнению с другими законами распределений, как и в случае дискретного сообщения, обладает наибольшей энтропией, если задан размах (b-а) как интервал существования случайной величины. При гауссовском распределении плотность вероятности равна

.                                        (2.13)

Логарифм от (2.13), в свою очередь, будет соответствовать выражению

.                                       (2.14)

Энтропия гауссовского сообщения равна

,                     (2.15)

где при вычислении использовалось условие нормировки  и определение дисперсии: .

Из этого следует, что энтропия гауссовского распределения зависит от среднего квадратического отклонения . Этот результат соответствует физическому представлению, так как неопределённость случайной величины тем выше, чем больше степень разброса её возможных значений вокруг математического ожидания, то есть чем больше дисперсия 2. Это значит, что рост неизбежно приведет к увеличению энтропии, являющейся мерой неопределённости.

Полная удельная средняя мощность сообщения Рcp с нормальным распределением включает в себя мощность флюктуации 2 и мощность постоянной составляющей m2;

Рср= 2 + m2.                                             (2.16)

Поэтому с целью экономии мощности всегда, где это возможно, выбирают для гауссовского сообщения нулевое математическое ожидание.

В этом случае

,                                            (2.17)

для которого формула (2.15) в полной мере справедлива.

Пользуясь вариационным исчислением, можно показать, что гауссовское распределение, по сравнению с другими законами распределения непрерывного сообщения, обладает наибольшей энтропией, если наложить условие постоянства дисперсий, что физически соответствует постоянству средней мощности сравниваемых сообщений. Этот результат можно объяснить тем фактом, что при нормальном распределении наиболее вероятные квантованные сообщения передаются на нулевом уровне мощности. Приведенный вывод можно подтвердить сравнением дисперсий равномерного и гауссовского сообщений, обладающих одинаковыми энтропиями.

Пусть Hравн= Нгаус, тогда

;

;                                              (2.18)

.

Разделив обе части равенства на 12, получим

.                                                         (2.19)

Учитывая, что левая часть равенства (2.19) соответствует дисперсии Dравн равномерного распределения, а дисперсией гауссовского распределения Dгаус является 2, окончательно получим

                                                        (2.20)

Из этого следует, что для передачи одного и того же количества информации непрерывному сообщению с равномерным распределением потребуется затратить в 1,45 раз большую мощность, чем непрерывному сообщению с гауссовским распределением. Этот пример подтверждает, что гауссовское сообщение при заданной мощности обладает наибольшей информативностью, то есть при заданной мощности гауссовское сообщение передаёт своим дискретом наибольшее количество информации.

2.2 Производительность источника сообщений

Производительность источника сообщения определяется средним количеством информации, которое он создаёт в единицу времени, то есть скоростью создаваемой информации.

Рассмотрим источник дискретных сообщений. Его производительность R может быть определена формулой

,                                                          (2.21)

где -  длительность одного символа сообщения; Н - энтропия, равная среднему количеству информации, приходящейся на один символ сообщения.

Формула (2.21) получена в предположении, что длительность всех символов одинакова и они следуют один за другим. Если это условие не удовлетворяется, то под ; следует понимать среднюю длительность символа дискретного сообщения. Формулу удобнее переписать в виде

,                                           (2.22)

где F = 1/c - частота появления символа в дискретном сообщении.

Формулу, аналогичную (2.22), можно получить для характеристики производительности непрерывного сообщения. Исходным является выражение (2.21), в котором под Н понимается энтропия непрерывного сообщения,  а под c= t - интервал между дискретами, равный t = 1/2Fc . В этом случае для непрерывного сообщения имеем

,                                     (2.23)

где Fc – максимальная частота в спектре реализации непрерывного сообщения.


 

А также другие работы, которые могут Вас заинтересовать

30701. Анализ романа Замятина Мы 19.86 KB
  Солженицын1 История создания и смысл названия романа: Роман создавался вскоре после возвращения автора из Англии в революционную Россию в 1920 году по некоторым сведениям работа над текстом продолжалась и в 1921 году. Первая публикация романа состоялась за границей в 1924 году. В случае с названием романа Мы и с героем романа это утверждение особенно справедливо.
30702. Приём антитезы в произведениях русской литературы 2-й половины XIX века. Ф.М. Достоевский «Преступление и наказание» 132.77 KB
  I антитеза ос6новное идейно композиционный принцип романа Преступление и наказание II функции антитезы. Приём антитезы при создании образа главного героя: А замечательная внешность Раскольникова и одежда нищего; Б описание каморки и страшная теория Раскольникова; В бесчеловечность теории и её неприятие сердцем сны Раскольникова. Приём антитезы в основе системы персонажей: А двойники Раскольникова Лужин и Свидригайлов; Б правда Сони Мармеладовой и правда Раскольникова.
30703. И. А. Бунин. Тема любви 15.98 KB
  Тема любви. В теме любви Бунин раскрывается как человек удивительного таланта тонкий психолог умеющий передать состояние души раненной любовью. На протяжении столетий многие художники слова посвящали свои произведения великому чувству любви и каждый из них находил чтото неповторимое индивидуальное этой теме. Эта тайна бытия становится темой бунинского рассказа Грамматика любви1915.
30704. Образ нигилиста Базарова и тема смены поколений в романе И.С. Тургенева «Отцы и дети». Тургеневский принцип «тайной психологии» в изображении человеческих характеров 13.82 KB
  Сюжет строится на столкновение двух враждебных идеологий – разночиннодемократической к которой относится Евгений Базаров и либеральнодворянской.Взгляды Базарова главного героя романа сводятся к резкой критике того положения которое сложилось в стране. Но Базаров не видит силы и в народе.
30705. Философское звучание стихотворения А.С. Пушкина «Вновь я посетил…» 12.03 KB
  Так в стихотворении начинает звучать мотив жизни и смерти. Мотив семьи таким образом перерастает в тему смены поколения вечного непрестанного обновления жизни. Так к финалу стихотворения мотив смерти преобразуется в мотив памяти а воспоминание о своем личном приобретает характер всеобщий философский.
30706. Новая социалистическая «волна» в Западной Европе: приход к власти лейбористов в Великобритании, социалистов во Франции, социал-демократов в Германии (опыт 1990-х гг.) 27.5 KB
  Германия В Западной Германии СоцДемокрПартГерм выиграла выборы в ФРГ в 1969 и находилась у власти до 1982 правительства в эти годы возглавлял Вилли Брандт а затем с 1974 Гельмут Шмидт. Вначале СДПГ выступала против перевооружения Западной Германии и вступления её в НАТО но впоследствии её позиция резко изменилась. В советском секторе оккупации где впоследствии была провозглашена ГДР СДПГ и Коммунистическая партия Германии объединились в Социалистическую единую партию Германии.
30707. Буржуазно-демократические революции в Германии, Австрии, Венгрии (1918): общее и особенное 23.5 KB
  Вслед за Германией буржуазнодемократические революции начались в Австрии и Венгрии что привело к свержению монархии и провозгласило республику во главе с коалиционным правительством и с буржуазнодемократическими правами и свободами. В Венгрии была объявлена республика а потом ее провозгласили Советской республикой по примеру России но она не сумела удержать власть и распалась в 1919 г. в Венгрии была установлена авторитарная диктатура и она была провозглашена монархическим государством.
30708. Политика правящих кругов и усиление левой оппозиции во Франции (1919 – 1923 гг.) 22.5 KB
  В отношении рабочего класса применялась политика уступок которые чередовались репрессиями. Политика правящих кругов также отразилась и на политическом уровне – впервые были проведены выборы в парламент и объединение в Национальный блок целью которого стала борьба с большевизмом.
30709. Проблемы антифашистской борьбы в Европе 1920 – 1930 гг 23.5 KB
  В 1935 во Франции был создан Народный фронт в состав которого вошли как коммунистические и социалистические партии так и левобуржуазные политические организации. Народный фронт представляет собой политический союз который как правило объединяет левые и центральные силы для осуществления противодействия правым силам представителей власти. Основной целью возникновения народных фронтов стала борьба за защиту экономических интересов рабочего класса и противопоставление войне и фашизму. Самый первый народный фронт был образован во...