38920

Исследование Свойств энтропии одиночных отсчетов случайных последовательностей

Лабораторная работа

Информатика, кибернетика и программирование

Цель работы Численное определение величины энтропии последовательностей дискретных случайных величин. Краткие теоретические сведения Согласно классической теории информации минимальное количество данных на один отсчет необходимых при идеальном кодировании дискретной случайной величины X определяется распределением вероятностей этой величины Pxi. Квантование непрерывной случайной величины преобразует эту величину в дискретную. Очевидно что полученный при этом результат будет зависеть как от плотности распределения вероятностей...

Русский

2013-09-30

107 KB

10 чел.

PAGE  2

Министерство образования и науки, молодежи и спорта Украины

Севастопольский национальный технический

университет

Исследование Свойств энтропии одиночных

отсчетов случайных последовательностей

Методические указания к выполнению лабораторной работы №6

по дисциплине «Методы информационной оптимизации систем и процессов»

для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Севастополь

2012

УДК 621.391:681.05.015.23

Методические указания к выполнению лабораторной работы №6 по дисциплине «Методы информационной оптимизации систем и процессов» / Сост. С. В. Доценко, А. Ю. Дрозин – Севастополь: Изд-во СевНТУ, 2012. – 8 с.

Целью методических указаний является помощь студентам в выполнении лабораторной работы. Излагаются теория к выполнению данной лабораторной работы, требования к содержанию отчета.

Методические указания предназначены для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Методические указания рассмотрены и утверждены на заседании кафедры Информационных систем, протокол №7 от 23.02.2011 г.

Допущено учебно-методическим центром СевНТУ в качестве методических указаний.

Рецензент: Скороход Б. А., д. т. н., профессор кафедры Технической кибернетики.

СОДЕЖАНИЕ

1. Цель работы……………………………………………………………………...4

2. Краткие теоретические сведения…………………………………………….…4

3. Порядок выполнения работы и варианты заданий…………………….……..10

4. Содержание отчета…………………………………………………………......10

5. Контрольные вопросы……………………………………………………...…..11

БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………...11

1. Цель работы

  1.  Численное определение величины энтропии  последовательностей дискретных случайных величин.
  2.  Сопоставление результатов численных экспериментов с выводами теории.

2. Краткие теоретические сведения

Согласно классической теории информации, минимальное количество данных на один отсчет, необходимых при идеальном  кодировании дискретной случайной величины X, определяется распределением вероятностей этой величины P(xi). Оно носит название безусловной энтропии (неопределенности) H(x) и дается формулой

 . (1)

Единица количества энтропии определяется выбором основания логарифмов. Когда используются логарифмы при основании 2, то энтропия H измеряется в двоичных единицах (дв. ед., бит). Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения энтропии. Этот переход осуществляется по формуле

 . (2)    

Энтропия H – удобная мера неопределенности законов распределения вероятностей, особенно в тех случаях, когда распределения являются асимметричными, многовершинными и когда использование таких числовых характеристик, как среднее значение, дисперсия и моменты высших порядков, теряет всякую наглядность и удобство.

Квантование непрерывной случайной величины преобразует эту величину в дискретную. При этом возникает вопрос: какое минимальное количество данных необходимо в среднем, чтобы описать полученную дискретную величину? Для ответа на него следует воспользоваться формулой (1) . Очевидно, что полученный при этом результат будет зависеть как от плотности распределения вероятностей исходной непрерывной случайной величины, так и от величины кванта.

Известно, что количество информации, содержащееся в непрерывной гауссовской величине, преобразованной в дискретную с шагом q, равно

 , (3)

где  — дисперсия исходной величины X. Для гауссовских величин

 I(X)=H(X). (4)

Рассмотрим решение такой задачи на конкретном примере.              

Создадим вектор X0 из N случайных непрерывных чисел, распределенных по нормальному закону с нулевым математическим ожиданием и стандартным (среднеквадратическим) отклонением, равным единице. Этот вектор представляет собой гауссовский белый шум.

>> N=1000;                                                    % число отсчетов процесса

>> X0=randn(1,N);                                        % независимые нормальные отсчеты

>>[n1,x01]=hist(X0,10)                                 % гистограмма на 10 интервалов:

                                                                      % x 01- вектор интервалов,                                                                % n1 – число значений вектора X0,                                              % попавших в эти интервалы

Получим:

n1 =   17    40    94   170   207   213   151    76    24     8

x01 =  2.3323   1.7948   1.2572   0.7196   0.1820    0.3556    0.8932    1.4308    1.9683    2.5059

>>hist(X0,10)                                       % изображение гистограммы (рисунок 1)

Рисунок 1 — Гистограмма для X0 на10 интервалов

>> P1=n1/N                 % вектор частот попадания значений X0 в интервалы x01

В нашем случае конечного числа отсчетов случайной величины Х частоты играют роль вероятностей. Так как частоты в известной мере случайны, то получаемые значения энтропии не точны, а представляют ее оценки. Вектор частот в нашем случае имеет вид

P1 =  0.0170    0.0400    0.0940    0.1700    0.2070    0.2130    0.1510    0.0760    0.0240    0.0080

>> H1=–P1*log2(P1)'                              % формула для оценки энтропии

Применяя эту формулу, найдем величину оценки энтропии для данного случая: H1 = 2.8658 бит.

Среднеквадратическое значение вектора X0 есть std(X0) = 0.9435, минимальное значение отсчета этого вектора min(X0) = –2.6011, а его максимальное значение max(X0) =2.7747. Поэтому интервал квантования в гистограмме составляет величину x01 = (max(X0) – min(X0))/10 = 0,53758, что и отражено на гистограмме. Полагая q=x01  и применяя формулу (3), получим I(X)=2.7050 бит. Сравнивая H1, видим, что эти величины близки друг другу.

Теперь построим гистограмму для того же вектора X0 на 15 интервалов:

>> [n2,x02]=hist(X0,15)

Получим:

n2 =   10    16    31    53    95   116   130   147   143   115    67    45    17    11     4

x02 =  2.4219   2.0636   1.7052   1.3468   0.9884   0.6300   0.2716    0.0868    0.4452       0.8036     1.1620     1.5204    1.8787     2.2371    2.5955

Его гистограмма hist(X0,15) представлена на рисунке 2.

>> P2=n2/N                 % вектор частот попадания значений X0 в интервалы x02

В нашем случае это

P2 = 0.0100    0.0160    0.0310    0.0530    0.0950    0.1160    0.1300    0.1470    0.1430    0.1150          0.0670    0.0450    0.0170    0.0110    0.0040

Интервал квантования в этой гистограмме составляет величину

x02 = (max(X0) – min(X0))/15 = 0,35839.

Оценка энтропии в этом случае дается формулой H2= –P2*log2(P2)' бит, которая дает величину H2 =3.4403 бит. Здесь I(X)=3,2806 бит.

Построим гистограмму для того же вектора X0 на 20 интервалов:

>> [n3,x03]=hist(X0,20)

Получим:

n3 =  7    10    12    28    37    57    79    91    92   115   117    96    91    60    44    32    15      9     4     4

x03 = 2.4667   2.1979   1.9292   1.6604   1.3916   1.1228   0.8540   0.5852   0.3164      0.0476    0.2212     0.4900    0.7588    1.0276    1.2964     1.5652    1.8339     2.1027      2.3715    2.6403

Вектор частот попадания значений X0 в интервалы x03 есть P3=n3/N:

P3 = 0.0070    0.0100    0.0120    0.0280    0.0370    0.0570    0.0790    0.0910    0.0920    0.1150     0.1170    0.0960    0.0910    0.0600    0.0440    0.0320    0.0150    0.0090    0.0040    0.0040

Оценка энтропии здесь дается формулой H3 = –P3*log2(P3)'  бит, которая дает H3 = 3.8465 бит, а интервал квантования в гистограмме составляет величину  x02 = 0,26879.   Здесь  I(X)=3,6923  бит. 

Рисунок 2 — Гистограмма для X0 на15 интервалов

Наконец, построим гистограмму для вектора X0 на 25 интервалов:

>> [n4, x04]=hist(X0,25)

Получим:

n4 = 4       9    11     6    27    27    40    64    57    76    66    94    94    93    73    71    59     35      36    26   15     4      7      3      3

x = 2.4936   2.2786   2.0636   1.8485   1.6335   1.4184   1.2034   0.9884       0.7733         0.5583   0.3433   0.1282     0.0868    0.3018    0.5169     0.7319    0.9469    1.1620          1.3770    1.5920    1.8071      2.0221    2.2371    2.4522     2.6672

Вектор частот попадания значений X0 в интервалы x04 есть P4=n4/N:

P4 = 0.0040    0.0090    0.0110    0.0060    0.0270    0.0270    0.0400    0.0640    0.0570    0.0760        0.0660    0.0940    0.0940    0.0930    0.0730    0.0710    0.0590    0.0350    0.0360    0.0260      0.0150    0.0040    0.0070    0.0030    0.0030

Оценка энтропии здесь дается формулой

>>H4 = –P4*log2(P4)', которая дает H4 = 4.1562 бит, а интервал квантования в гистограмме составляет величину  x04 = 0,215032. Величина  I(X)=4,0126 бит.

Итак, с уменьшением интервала квантования энтропия гауссовской случайной величины растет. Необходимо экспериментально определить степень этого роста для негауссовских случайных величин.

3. Программа и порядок выполнения работы, варианты заданий

  1.  В соответствии с полученным у преподавателя вариантом распределения вероятностей смоделировать массив X0 из N=10000 отсчетов.
  2.  Из полученного массива X0 смоделировать последовательно гистограммы на 10, 20, 30, 40, 50 интервалов.
  3.  По полученным гистограммам найти векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Рассчитать для всех наборов величины энтропии.
  5.  Построить зависимость энтропии и информации от отношения величины кванта к среднеквадратическому отклонению величины X0.

Таблица 1 — Распределения вероятностей, команды генерации случайных величин и команды вычисления их числовых характеристик

Вид распределения

Команда генерации

случайной величины

Команда вычисления

M1 и σ2

1

Бета

X=betarnd(A,B,m,n)

[M,V]=betastat(A,B)

2

Экспоненциальное

X=exprnd(MU,m,n)

[M,V]=expstat(MU)

3

Гамма

X=gamrnd(A,B,m,n)

[M,N]=gamstat(A,B)

4

Логнормальное

X=lognrnd(MU,SIGMA,m,n)

[M,V]=lognstat(MU,SIGMA)

5

Нормальное (гауссовское)

X=normrnd(MU,SIGMA,m,n)

[M,V]=normstat(MU,SIGMA)

6

Релея

X=raylrnd(B,m,n)

[M,V]=raylstat(B)

7

Равномерное

X=unifrnd(A,B,m,n)

[M,V]=unifstat(A,B)

8

Вейбулла

X=weibrnd(A,B,m,n)

[M,V]=weibstat(A,B)

9

Хи-квадрат

X=chi2rnd(NU,m,n)

[M,V]=chi2stat(NU)

10

Нецентральное хи-квадрат

X=ncx2rnd(NU,DELTA,m,n)

[M,V]=ncx2stat(NU,DELTA)

11

Фишера-Снекора (F-распредел.)

X=frnd(V1,V2,m,n)

[M,V]=fstat(V1,V2)

12

Нецентральное F-распределение

X=ncfrnd(NU1,NU2,DELTA,m,n)

[M,V]=ncfstat(NU1,NU2,DELTA)

13

Стьюдента (t-распределение)

X=trnd(NU,m,n)

[M,V]=tstat(NU)

14

Нецентральное t-распределение

X=nctrnd(NU,DELTA,m,n)

[M,V]=nct(NU,DELTA)

В этой таблице: A, B, MU, NU, NU1, NU2, V1, V2, DELTA, LAMBDA, NN, M, K, P, RR – параметры, описывающие распределения; X – матрица размером mn, состоящая из случайных величин ξ, имеющих указанное распределение; M –математическое ожидание M[ξ] и V – дисперсия случайных величин ξ. Команда из столбца IV дает возможность вычислить теоретическое значение МО M1=M[ξ], обозначаемое здесь как M, и теоретическую дисперсию σ2, обозначаемую как V.

4. Содержание отчета

Отчет должен содержать следующие пункты:

  1.  Постановка задачи (вариант задания).
  2.  Результат генерации случайной величины X0 с заданным законом распределения вероятностей.
  3.  Векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Результаты расчетов для всех наборов величин энтропии и информации с сопоставлением их на графиках.
  5.  Выводы по работе.

5. Контрольные вопросы

  1.  Что такое энтропия? Что она характеризует?
  2.  Дайте определение взаимной информации?
  3.  Почему в эксперименте количество информации не совпадает с энтропией?
  4.  Что такое гистограмма?
  5.  Как получить векторы частот попадания значений X0 в соответствующие интервалы?
  6.  Как зависят гистограммы от числа N исследуемых случайных чисел?
  7.  Как зависит вид гистограммы от числа ее интервалов? Почему?

Библиографический список

  1.  Вентцель Е.С. Теория вероятностей./ Е.С. Вентцель. — М.: Высшая школа, 2001. — 575 с.
  2.  Лазарев Ю. MatLAB 5.x./ Юрий Лазарев. — Киев: «Ирина», BHV, 2000. 383 с.
  3.  Сергиенко А.Б. Цифровая обработка сигналов./ А.Б. Сергиенко. — М., С-П., НН, В, РнД, Е, С, К., Х.,М.: ПИТЕР, 2003. — 603 с.


 

А также другие работы, которые могут Вас заинтересовать

12234. Определение константы диссоциации слабого электролита 337 KB
  Определение константы диссоциации слабого электролита Цель работы: установить зависимость удельной и эквивалентной электропроводности слабого электролита от концентрации. Рассчитать значения степени и константы диссоциации слабого электролита. Принцип метода: ко
12235. Реакция гидролиза сахарозы с образованием глюкозы и фруктозы 25.7 KB
  Лабораторная работа №3 Определение константы скорости инверсии тростникового сахара сахарозы. Цель работы: определить порядок реакции по сахару и катализатору определить средние константы скорости реакции . Изучаемым процессом является реакция гидролиза...
12236. Определить растворимости и произведения растворимости труднорастворимых солей 33.51 KB
  Цель работы: определить растворимости и произведения растворимости труднорастворимых солей. Рабочая формула где: S растворимость. предельные эквивалентные электропроводности ионов удельная электропроводность раствора Таблица 1 Дан...
12237. Определение константы скорости инверсии тростникового сахара 144 KB
  Определение константы скорости инверсии тростникового сахара Цель работы: ознакомиться оптическим методом изучения кинетики реакции; определить порядок реакции по сахару и катализатору; определить среднюю константу скорости рассчитать ошибки в измерениях. Принци
12238. Определение температурного коэффициента электропроводности 30.22 KB
  Измерение электропроводности электролитов различной концентрации и определение температурного коэффициента электропроводности Цель: установить зависимость удельной и эквивалентной электропроводности электролита от концентрации и те
12239. Определить pH и буферную емкость ацетатных буферных растворов 40.44 KB
  Цель работы: определить pH и буферную емкость ацетатных буферных растворов. Исследуемая цепь Pt CHхингидрон KClнасHg2Cl2 Hg Рабочие формулы где: потенциал хингидронового электрода потенциал каломельного электрода Таблица 1 Данные из...
12240. Исследование влияния параметров схемы на токовую и тепловую загрузку тиристоров в управляемом выпрямителе 12.43 MB
  Курс Силовые полупроводниковые приборы. Лабораторная работа 2. Тема: исследование влияния параметров схемы на токовую и тепловую загрузку тиристоров в управляемом выпрямителе. Схема: мостовая схема выпрямления однофазного тока при активной и активноиндуктивной н
12241. Вертикально связанные квантовые точки в полупроводниках 334.42 KB
  Квантовые точки, используемые на сегодняшнем рынке – это наноразмерные полупроводники, которые изменяют цвет в зависимости от изменений температуры. Точки имеют два слоя – внутреннее ядро селенида кадмия и внешняя оболочка сульфида цинка. Так как квантовые точки биосовместимы, учёные используют их в качестве альтернативы флоуресцентным красителям, чтобы метить и отслеживать клеточные компоненты
12242. Определение рН раствора с помощью хингидронного электрода 107.5 KB
  Определение рН раствора с помощью хингидронного электрода Цель работы: определение рН и буферной емкости ацетатных буферных растворов. Принцип метода: потенциометрическое определение производят измеряя ЭДС гальванического элемента во втором одни из электродов во