40149

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Лекция

Коммуникация, связь, радиоэлектроника и цифровые приборы

Представляет интерес определить собственное количество информации заключённое в непрерывном сообщении с тех же позиций что и для дискретного сообщения то есть с использованием понятия энтропии. Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова согласно которой если отсчёты непрерывного сообщения взять через интервал t=1 2Fc где Fc максимальная частота спектра реализации xt то непрерывная функция xt на интервале времени наблюдения [0T] эквивалентна...

Русский

2013-10-15

1.23 MB

16 чел.

PAGE   \* MERGEFORMAT 6

ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ

Энтропия для непрерывного сообщения

Дискретизация непрерывного сообщения

Сообщение называется непрерывным, если оно является непрерывной функцией времени. В общем случае сообщение есть непрерывный случайный процесс, а конкретное сообщение реализация этого процесса. Представляет интерес определить собственное количество информации, заключённое в непрерывном сообщении, с тех же позиций, что и для дискретного сообщения, то есть с использованием понятия энтропии.

Замену непрерывной функции времени можно осуществить последовательностью дискретов на основании теоремы Котельникова, согласно которой если отсчёты непрерывного сообщения взять через интервал t=1/2Fc, где Fc - максимальная частота спектра реализации x(t), то непрерывная функция x(t) на интервале времени наблюдения [0,T] эквивалентна последовательности дискретных значений этой функции:

x(t) = [x(t), x(t2), .... x(tn)],                                                    (2.1)

где  

n = T/t = 2FcT.                                                          (2.2)

Замечаем, что число дискретов (2.2) непрерывного сообщения соответствует числу позиций в кодовой комбинации дискретного сообщения.

Теорема Котельникова позволяет заменить непрерывную функцию времени x(t) конечной последовательностью дискретов (2.1). Но при этом каждый дискрет x(t) в этой последовательности остается непрерывной величиной в том смысле, что он может занимать любое значение на числовой оси х. Однако в дискретном сообщении на любой позиции кода может находиться только один из возможных символов, составляющих алфавит из m символов, или в частном случае цифр. Поэтому в дискретной последовательности необходимо провести квантование по уровню.

Для квантования по уровню выбирают шаг квантования х =, находят наибольшее и наименьшее возможные значения сообщения xmax, xmin  и определяют число уровней m:

.                                                      (2.3)

Во всем размахе возможных значений [xmax-xmin] определяют разрешённые уровни x1,x2,…,xm. Процедура квантования в этом случае сводится к замене значения дискрета x(ti), занимающего произвольную точку на оси х, на ближайший разрешённый уровень (на рис. замена x(ti) на xi).

Число уровней m в этом случае будет эквивалентно числу символов алфавита m дискретного сообщения. Таким образом, один квантованный дискрет непрерывного сообщения может рассматриваться как один символ дискретного сообщения.

2.1.2  Эпсилон-энтропия непрерывного сообщения

Рассмотрим непрерывное сообщение в виде стационарного случайного процесса (t) с известной одномерной плотностью вероятности р(х).

Проведём дискретизацию сообщения, для чего определим разрешённые уровни (х1,x2,...,xm). Вероятность нахождения случайной величины на интервале  в соответствии с процедурой квантования будем рассматривать как вероятность рi того, что дискрет сообщения примет значение хi, тогда при достаточно малом шаге квантования х будет иметь место равенство

.                               (2.4)

Квантование дискрета непрерывного сообщения позволяет заменить непрерывную функцию плотности вероятности сообщения p(x) рядом вероятности, у которого возможными значениями служат разрешённые уровни х1, х2,…хm , а их соответствующие вероятности вычисляются по формуле (2.4).

Вышеприведённые предпосылки позволяют для определения энтропии непрерывного сообщения воспользоваться формулой (1.7),  полученной для дискретного сообщения. Подставив  (2.4) в формулу  (1.7), получим

,                              (2.5)

где воспользовались соотношением, =х. Если устремить xdx, то суммирование в (2.5) заменится интегрированием, которое распространим на всю числовую ось х. В то же время величину logx, которая зависит от х и при его приближении к нулю стремится к "", будем рассматривать как постоянную величину, не зависящую от х. В этом случае (2.5) примет вид

.                             (2.6)

По условию нормировки плотности вероятности имеет место равенство

,

то формулу (2.6) можно записать в виде

,                                       (2.7)

где - шаг квантования.

Из (2.7) следует, что энтропия непрерывного сообщения зависит как от плотности вероятности, так и от шага квантования. Причём при устремлении шага квантования к нулю теряется смысл выражения (2.7), так как

.                                                            (2.8)

В литературе по теории информации величина (2,7) называется эпсилон-энтропией по названию буквы , определяющей шаг квантования. Эпсилон-энтропию можно рассматривать как величину, определяющую среднее количество информации, приходящейся на один дискрет квантованного непрерывного сообщения.

Если конечные расчётные формулы представлять в виде разности энтропии, определяемых для одного и того же , то log  будет вычитаться. Сказанное позволяет не учитывать log  (или условно рассматривать = 1) и в качестве энтропии непрерывного сообщения использовать зависимость

,                                                    (2.9)

равную взятому со знаком минус математическому ожиданию логарифма плотности вероятности непрерывной случайной величины. В общем плане плотность вероятности р(х) является размерной величиной. Чтобы избежать некорректности, под логарифмом необходимо ставить р(х) в безразмерном виде, поделив её на единицу с размерностью плотности вероятности.

Энтропия (2.9) характеризует количество информации, приходящейся в среднем на один дискрет непрерывного сообщения. Если все дискреты на интервале [0, Т] являются независимыми случайными величинами, представляющими собой стационарный случайный процесс с одной и той же одномерной плотностью вероятности для всех своих сечений, то количество информации, заключённое в сообщении длительностью Т, определяется выражением

.                                                  (2.10)

Формула (2.10) совпадает с выражением (2.16) для количества информации кодовой комбинации из n позиций в коде.

2.1.3 Энтропия равномерного и гауссовского сообщений

Энтропия непрерывного сообщения зависит от закона распределения сообщения, рассматриваемого с позиций случайного процесса. Будем считать сообщение стационарным случайным процессом, распределение которого определено одномерной плотностью вероятности р(x). Найдём энтропии сообщений с равномерным и гауссовским распределениями и сравним полученные результаты.

Энтропия сообщения с равномерным распределением равна

,                                     (2.12)

где использовалось, что .

Из этого следует, что энтропия равномерного сообщения полностью определяется логарифмом размаха уровня возможных значений сообщения. Пользуясь вариационным исчислением, можно показать, что равномерное распределение по сравнению с другими законами распределений, как и в случае дискретного сообщения, обладает наибольшей энтропией, если задан размах (b-а) как интервал существования случайной величины. При гауссовском распределении плотность вероятности равна

.                                        (2.13)

Логарифм от (2.13), в свою очередь, будет соответствовать выражению

.                                       (2.14)

Энтропия гауссовского сообщения равна

,                     (2.15)

где при вычислении использовалось условие нормировки  и определение дисперсии: .

Из этого следует, что энтропия гауссовского распределения зависит от среднего квадратического отклонения . Этот результат соответствует физическому представлению, так как неопределённость случайной величины тем выше, чем больше степень разброса её возможных значений вокруг математического ожидания, то есть чем больше дисперсия 2. Это значит, что рост неизбежно приведет к увеличению энтропии, являющейся мерой неопределённости.

Полная удельная средняя мощность сообщения Рcp с нормальным распределением включает в себя мощность флюктуации 2 и мощность постоянной составляющей m2;

Рср= 2 + m2.                                             (2.16)

Поэтому с целью экономии мощности всегда, где это возможно, выбирают для гауссовского сообщения нулевое математическое ожидание.

В этом случае

,                                            (2.17)

для которого формула (2.15) в полной мере справедлива.

Пользуясь вариационным исчислением, можно показать, что гауссовское распределение, по сравнению с другими законами распределения непрерывного сообщения, обладает наибольшей энтропией, если наложить условие постоянства дисперсий, что физически соответствует постоянству средней мощности сравниваемых сообщений. Этот результат можно объяснить тем фактом, что при нормальном распределении наиболее вероятные квантованные сообщения передаются на нулевом уровне мощности. Приведенный вывод можно подтвердить сравнением дисперсий равномерного и гауссовского сообщений, обладающих одинаковыми энтропиями.

Пусть Hравн= Нгаус, тогда

;

;                                              (2.18)

.

Разделив обе части равенства на 12, получим

.                                                         (2.19)

Учитывая, что левая часть равенства (2.19) соответствует дисперсии Dравн равномерного распределения, а дисперсией гауссовского распределения Dгаус является 2, окончательно получим

                                                        (2.20)

Из этого следует, что для передачи одного и того же количества информации непрерывному сообщению с равномерным распределением потребуется затратить в 1,45 раз большую мощность, чем непрерывному сообщению с гауссовским распределением. Этот пример подтверждает, что гауссовское сообщение при заданной мощности обладает наибольшей информативностью, то есть при заданной мощности гауссовское сообщение передаёт своим дискретом наибольшее количество информации.

2.2 Производительность источника сообщений

Производительность источника сообщения определяется средним количеством информации, которое он создаёт в единицу времени, то есть скоростью создаваемой информации.

Рассмотрим источник дискретных сообщений. Его производительность R может быть определена формулой

,                                                          (2.21)

где -  длительность одного символа сообщения; Н - энтропия, равная среднему количеству информации, приходящейся на один символ сообщения.

Формула (2.21) получена в предположении, что длительность всех символов одинакова и они следуют один за другим. Если это условие не удовлетворяется, то под ; следует понимать среднюю длительность символа дискретного сообщения. Формулу удобнее переписать в виде

,                                           (2.22)

где F = 1/c - частота появления символа в дискретном сообщении.

Формулу, аналогичную (2.22), можно получить для характеристики производительности непрерывного сообщения. Исходным является выражение (2.21), в котором под Н понимается энтропия непрерывного сообщения,  а под c= t - интервал между дискретами, равный t = 1/2Fc . В этом случае для непрерывного сообщения имеем

,                                     (2.23)

где Fc – максимальная частота в спектре реализации непрерывного сообщения.


 

А также другие работы, которые могут Вас заинтересовать

84987. Криминогенные ситуации и личная безопасность 27.87 KB
  Сформировать убеждение в необходимости соблюдать правила личной безопасности при общении с незнакомыми людьми выработать умение в безопасном поведении в характерных криминогенных ситуациях. Правила личной безопасности в криминогенных ситуациях. Необходимо выработать у учащихся умение отказываться от нежелательного общения для обеспечения личной безопасности. Разобрать основные правила по обеспечению личной безопасности в различных ситуациях возникающих в повседневной жизни.
84988. Обеспечение личной безопасности дома 30.08 KB
  Изучаемые вопросы Общие правила безопасного поведения школьника если он остался дома один. Обсудить с учащимися рекомендации по соблюдению правил безопасного поведения дома если они в доме одни. Не открывайте дверь никому даже если эти люди представились работниками коммунальных услуг милиции или почты. Если вас просят принести попить или позвонить от вас объясните через дверь как дойти до ближайшего магазина и телефонаавтомата.
84989. Обеспечение личной безопасности на улице 30.24 KB
  Обеспечение личной безопасности на улице Цель урока. Познакомить учащихся с общими правилами безопасного поведения в случаях возникновения криминогенных ситуаций на улице. Сформировать убеждение в необходимости совершенствовать свои знания и умения в вопросах безопасного поведения на улице с учетом складывающейся криминогенной обстановки. Изучаемые вопросы Общие рекомендации по безопасному поведению на улице.
84990. О культуре здоровья и безопасности школьника 28.04 KB
  Сформировать у учащихся общее понятие о здоровье и здоровом образе жизни. Обозначить основные составляющие здорового образа жизни; выработать убеждения в том что режим дня является определяющей составляющей здорового образа жизни. Общие понятия о здоровом образе жизни и его составляющих. Режим дня как определяющая составляющая здорового образа жизни.
84991. Двигательная активность и закаливание организма - необходимые 29.51 KB
  Двигательная активность и закаливание организма необходимые условия укрепления здоровья Цель урока. Сформировать убеждение в необходимости систематических занятий физической культурой и закаливанием организма умения дозировать физические нагрузки с учетом индивидуальных особенностей максимально использовать погодные условия в различное время года для занятий на свежем воздухе. Роль закаливания организма в укреплении здоровья. Довести до учащихся что закаливание это повышение устойчивости организма к неблагоприятному воздействию...
84992. Рациональное питание. Гигиена питания 28 KB
  Гигиена питания Цель урока. Познакомить учащихся с понятием рациональное питание основными питательными веществами и их значением в рационе питания человека. Разобрать общепринятые правила питания сформировать убеждение в необходимости соблюдать правила рационального питания в повседневной жизни. Некоторые общепринятые правила рационального питания.
84993. Вредные привычки и их влияние на здоровье человека 29.07 KB
  Вредные привычки и их влияние на здоровье человека Цель урока. Влияние алкоголя на здоровье человека. Эволюция обеспечила организм человека неисчерпаемыми резервами прочности и надежности которые обусловлены избыточностью элементов всех его систем их взаимодополняемостью взаимодействием способностью к адаптации и компенсации. Природа создала человека для долгой и счастливой жизни.
84994. Здоровый образ жизни и профилактика вредных привычек 27.76 KB
  Сформировать убеждение в том что привычка курить и употреблять алкоголь зачастую начинается с первой пробы выработать у них твердую привычку говорить Нет любому кто предложит закурить или попробовать спиртное. Разобрать с учащимися ситуационные задачи: Если вам в кругу сверстников предложат закурить как вы поступите Если у вас в доме гости и вас пригласили к столу и предложили выпить спиртного как вы поступите В заключение предложить четыре правила Нет для профилактики курения и употребления спиртных напитков. Постоянно...
84995. Первая медицинская помощь при различных видах повреждений 28.12 KB
  Познакомить учащихся с назначением и содержанием первой медицинской помощи. Разобрать последовательность в оказании первой медицинской помощи: довести но них рекомендации службы скорой медицинской помощи в каких ситуациях необходимо вызывать скорую медицинскую помощь. Общие правила в последовательности оказания первой медицинской помощи. Подчеркнуть что от своевременности и качества оказания первой медицинской помощи в значительной степени зависит дальнейшее состояние здоровья пострадавшего и даже его жизнь.