38920

Исследование Свойств энтропии одиночных отсчетов случайных последовательностей

Лабораторная работа

Информатика, кибернетика и программирование

Цель работы Численное определение величины энтропии последовательностей дискретных случайных величин. Краткие теоретические сведения Согласно классической теории информации минимальное количество данных на один отсчет необходимых при идеальном кодировании дискретной случайной величины X определяется распределением вероятностей этой величины Pxi. Квантование непрерывной случайной величины преобразует эту величину в дискретную. Очевидно что полученный при этом результат будет зависеть как от плотности распределения вероятностей...

Русский

2013-09-30

107 KB

5 чел.

PAGE  2

Министерство образования и науки, молодежи и спорта Украины

Севастопольский национальный технический

университет

Исследование Свойств энтропии одиночных

отсчетов случайных последовательностей

Методические указания к выполнению лабораторной работы №6

по дисциплине «Методы информационной оптимизации систем и процессов»

для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Севастополь

2012

УДК 621.391:681.05.015.23

Методические указания к выполнению лабораторной работы №6 по дисциплине «Методы информационной оптимизации систем и процессов» / Сост. С. В. Доценко, А. Ю. Дрозин – Севастополь: Изд-во СевНТУ, 2012. – 8 с.

Целью методических указаний является помощь студентам в выполнении лабораторной работы. Излагаются теория к выполнению данной лабораторной работы, требования к содержанию отчета.

Методические указания предназначены для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Методические указания рассмотрены и утверждены на заседании кафедры Информационных систем, протокол №7 от 23.02.2011 г.

Допущено учебно-методическим центром СевНТУ в качестве методических указаний.

Рецензент: Скороход Б. А., д. т. н., профессор кафедры Технической кибернетики.

СОДЕЖАНИЕ

1. Цель работы……………………………………………………………………...4

2. Краткие теоретические сведения…………………………………………….…4

3. Порядок выполнения работы и варианты заданий…………………….……..10

4. Содержание отчета…………………………………………………………......10

5. Контрольные вопросы……………………………………………………...…..11

БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………...11

1. Цель работы

  1.  Численное определение величины энтропии  последовательностей дискретных случайных величин.
  2.  Сопоставление результатов численных экспериментов с выводами теории.

2. Краткие теоретические сведения

Согласно классической теории информации, минимальное количество данных на один отсчет, необходимых при идеальном  кодировании дискретной случайной величины X, определяется распределением вероятностей этой величины P(xi). Оно носит название безусловной энтропии (неопределенности) H(x) и дается формулой

 . (1)

Единица количества энтропии определяется выбором основания логарифмов. Когда используются логарифмы при основании 2, то энтропия H измеряется в двоичных единицах (дв. ед., бит). Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения энтропии. Этот переход осуществляется по формуле

 . (2)    

Энтропия H – удобная мера неопределенности законов распределения вероятностей, особенно в тех случаях, когда распределения являются асимметричными, многовершинными и когда использование таких числовых характеристик, как среднее значение, дисперсия и моменты высших порядков, теряет всякую наглядность и удобство.

Квантование непрерывной случайной величины преобразует эту величину в дискретную. При этом возникает вопрос: какое минимальное количество данных необходимо в среднем, чтобы описать полученную дискретную величину? Для ответа на него следует воспользоваться формулой (1) . Очевидно, что полученный при этом результат будет зависеть как от плотности распределения вероятностей исходной непрерывной случайной величины, так и от величины кванта.

Известно, что количество информации, содержащееся в непрерывной гауссовской величине, преобразованной в дискретную с шагом q, равно

 , (3)

где  — дисперсия исходной величины X. Для гауссовских величин

 I(X)=H(X). (4)

Рассмотрим решение такой задачи на конкретном примере.              

Создадим вектор X0 из N случайных непрерывных чисел, распределенных по нормальному закону с нулевым математическим ожиданием и стандартным (среднеквадратическим) отклонением, равным единице. Этот вектор представляет собой гауссовский белый шум.

>> N=1000;                                                    % число отсчетов процесса

>> X0=randn(1,N);                                        % независимые нормальные отсчеты

>>[n1,x01]=hist(X0,10)                                 % гистограмма на 10 интервалов:

                                                                      % x 01- вектор интервалов,                                                                % n1 – число значений вектора X0,                                              % попавших в эти интервалы

Получим:

n1 =   17    40    94   170   207   213   151    76    24     8

x01 =  2.3323   1.7948   1.2572   0.7196   0.1820    0.3556    0.8932    1.4308    1.9683    2.5059

>>hist(X0,10)                                       % изображение гистограммы (рисунок 1)

Рисунок 1 — Гистограмма для X0 на10 интервалов

>> P1=n1/N                 % вектор частот попадания значений X0 в интервалы x01

В нашем случае конечного числа отсчетов случайной величины Х частоты играют роль вероятностей. Так как частоты в известной мере случайны, то получаемые значения энтропии не точны, а представляют ее оценки. Вектор частот в нашем случае имеет вид

P1 =  0.0170    0.0400    0.0940    0.1700    0.2070    0.2130    0.1510    0.0760    0.0240    0.0080

>> H1=–P1*log2(P1)'                              % формула для оценки энтропии

Применяя эту формулу, найдем величину оценки энтропии для данного случая: H1 = 2.8658 бит.

Среднеквадратическое значение вектора X0 есть std(X0) = 0.9435, минимальное значение отсчета этого вектора min(X0) = –2.6011, а его максимальное значение max(X0) =2.7747. Поэтому интервал квантования в гистограмме составляет величину x01 = (max(X0) – min(X0))/10 = 0,53758, что и отражено на гистограмме. Полагая q=x01  и применяя формулу (3), получим I(X)=2.7050 бит. Сравнивая H1, видим, что эти величины близки друг другу.

Теперь построим гистограмму для того же вектора X0 на 15 интервалов:

>> [n2,x02]=hist(X0,15)

Получим:

n2 =   10    16    31    53    95   116   130   147   143   115    67    45    17    11     4

x02 =  2.4219   2.0636   1.7052   1.3468   0.9884   0.6300   0.2716    0.0868    0.4452       0.8036     1.1620     1.5204    1.8787     2.2371    2.5955

Его гистограмма hist(X0,15) представлена на рисунке 2.

>> P2=n2/N                 % вектор частот попадания значений X0 в интервалы x02

В нашем случае это

P2 = 0.0100    0.0160    0.0310    0.0530    0.0950    0.1160    0.1300    0.1470    0.1430    0.1150          0.0670    0.0450    0.0170    0.0110    0.0040

Интервал квантования в этой гистограмме составляет величину

x02 = (max(X0) – min(X0))/15 = 0,35839.

Оценка энтропии в этом случае дается формулой H2= –P2*log2(P2)' бит, которая дает величину H2 =3.4403 бит. Здесь I(X)=3,2806 бит.

Построим гистограмму для того же вектора X0 на 20 интервалов:

>> [n3,x03]=hist(X0,20)

Получим:

n3 =  7    10    12    28    37    57    79    91    92   115   117    96    91    60    44    32    15      9     4     4

x03 = 2.4667   2.1979   1.9292   1.6604   1.3916   1.1228   0.8540   0.5852   0.3164      0.0476    0.2212     0.4900    0.7588    1.0276    1.2964     1.5652    1.8339     2.1027      2.3715    2.6403

Вектор частот попадания значений X0 в интервалы x03 есть P3=n3/N:

P3 = 0.0070    0.0100    0.0120    0.0280    0.0370    0.0570    0.0790    0.0910    0.0920    0.1150     0.1170    0.0960    0.0910    0.0600    0.0440    0.0320    0.0150    0.0090    0.0040    0.0040

Оценка энтропии здесь дается формулой H3 = –P3*log2(P3)'  бит, которая дает H3 = 3.8465 бит, а интервал квантования в гистограмме составляет величину  x02 = 0,26879.   Здесь  I(X)=3,6923  бит. 

Рисунок 2 — Гистограмма для X0 на15 интервалов

Наконец, построим гистограмму для вектора X0 на 25 интервалов:

>> [n4, x04]=hist(X0,25)

Получим:

n4 = 4       9    11     6    27    27    40    64    57    76    66    94    94    93    73    71    59     35      36    26   15     4      7      3      3

x = 2.4936   2.2786   2.0636   1.8485   1.6335   1.4184   1.2034   0.9884       0.7733         0.5583   0.3433   0.1282     0.0868    0.3018    0.5169     0.7319    0.9469    1.1620          1.3770    1.5920    1.8071      2.0221    2.2371    2.4522     2.6672

Вектор частот попадания значений X0 в интервалы x04 есть P4=n4/N:

P4 = 0.0040    0.0090    0.0110    0.0060    0.0270    0.0270    0.0400    0.0640    0.0570    0.0760        0.0660    0.0940    0.0940    0.0930    0.0730    0.0710    0.0590    0.0350    0.0360    0.0260      0.0150    0.0040    0.0070    0.0030    0.0030

Оценка энтропии здесь дается формулой

>>H4 = –P4*log2(P4)', которая дает H4 = 4.1562 бит, а интервал квантования в гистограмме составляет величину  x04 = 0,215032. Величина  I(X)=4,0126 бит.

Итак, с уменьшением интервала квантования энтропия гауссовской случайной величины растет. Необходимо экспериментально определить степень этого роста для негауссовских случайных величин.

3. Программа и порядок выполнения работы, варианты заданий

  1.  В соответствии с полученным у преподавателя вариантом распределения вероятностей смоделировать массив X0 из N=10000 отсчетов.
  2.  Из полученного массива X0 смоделировать последовательно гистограммы на 10, 20, 30, 40, 50 интервалов.
  3.  По полученным гистограммам найти векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Рассчитать для всех наборов величины энтропии.
  5.  Построить зависимость энтропии и информации от отношения величины кванта к среднеквадратическому отклонению величины X0.

Таблица 1 — Распределения вероятностей, команды генерации случайных величин и команды вычисления их числовых характеристик

Вид распределения

Команда генерации

случайной величины

Команда вычисления

M1 и σ2

1

Бета

X=betarnd(A,B,m,n)

[M,V]=betastat(A,B)

2

Экспоненциальное

X=exprnd(MU,m,n)

[M,V]=expstat(MU)

3

Гамма

X=gamrnd(A,B,m,n)

[M,N]=gamstat(A,B)

4

Логнормальное

X=lognrnd(MU,SIGMA,m,n)

[M,V]=lognstat(MU,SIGMA)

5

Нормальное (гауссовское)

X=normrnd(MU,SIGMA,m,n)

[M,V]=normstat(MU,SIGMA)

6

Релея

X=raylrnd(B,m,n)

[M,V]=raylstat(B)

7

Равномерное

X=unifrnd(A,B,m,n)

[M,V]=unifstat(A,B)

8

Вейбулла

X=weibrnd(A,B,m,n)

[M,V]=weibstat(A,B)

9

Хи-квадрат

X=chi2rnd(NU,m,n)

[M,V]=chi2stat(NU)

10

Нецентральное хи-квадрат

X=ncx2rnd(NU,DELTA,m,n)

[M,V]=ncx2stat(NU,DELTA)

11

Фишера-Снекора (F-распредел.)

X=frnd(V1,V2,m,n)

[M,V]=fstat(V1,V2)

12

Нецентральное F-распределение

X=ncfrnd(NU1,NU2,DELTA,m,n)

[M,V]=ncfstat(NU1,NU2,DELTA)

13

Стьюдента (t-распределение)

X=trnd(NU,m,n)

[M,V]=tstat(NU)

14

Нецентральное t-распределение

X=nctrnd(NU,DELTA,m,n)

[M,V]=nct(NU,DELTA)

В этой таблице: A, B, MU, NU, NU1, NU2, V1, V2, DELTA, LAMBDA, NN, M, K, P, RR – параметры, описывающие распределения; X – матрица размером mn, состоящая из случайных величин ξ, имеющих указанное распределение; M –математическое ожидание M[ξ] и V – дисперсия случайных величин ξ. Команда из столбца IV дает возможность вычислить теоретическое значение МО M1=M[ξ], обозначаемое здесь как M, и теоретическую дисперсию σ2, обозначаемую как V.

4. Содержание отчета

Отчет должен содержать следующие пункты:

  1.  Постановка задачи (вариант задания).
  2.  Результат генерации случайной величины X0 с заданным законом распределения вероятностей.
  3.  Векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Результаты расчетов для всех наборов величин энтропии и информации с сопоставлением их на графиках.
  5.  Выводы по работе.

5. Контрольные вопросы

  1.  Что такое энтропия? Что она характеризует?
  2.  Дайте определение взаимной информации?
  3.  Почему в эксперименте количество информации не совпадает с энтропией?
  4.  Что такое гистограмма?
  5.  Как получить векторы частот попадания значений X0 в соответствующие интервалы?
  6.  Как зависят гистограммы от числа N исследуемых случайных чисел?
  7.  Как зависит вид гистограммы от числа ее интервалов? Почему?

Библиографический список

  1.  Вентцель Е.С. Теория вероятностей./ Е.С. Вентцель. — М.: Высшая школа, 2001. — 575 с.
  2.  Лазарев Ю. MatLAB 5.x./ Юрий Лазарев. — Киев: «Ирина», BHV, 2000. 383 с.
  3.  Сергиенко А.Б. Цифровая обработка сигналов./ А.Б. Сергиенко. — М., С-П., НН, В, РнД, Е, С, К., Х.,М.: ПИТЕР, 2003. — 603 с.


 

А также другие работы, которые могут Вас заинтересовать

10298. Философия пространства и времени 46.15 KB
  Философия пространства и времени это раздел философии изучающий вопросы онтологии эпистемологии и сущности пространства и времени. Основные темы включают в частности следующие: существуют ли пространство и время независимо от сознания существуют ли они незави
10299. Рене Декарт - французский философ, математик, физик, физиолог 12.04 KB
  Рене Декарт французский философ математик физик физиолог. Родоначальник рационализма рационалистической методологии в теории познания. Средством познания сделал метод универсального сомнения. Философия Декарта была дуалистической. Он признавал наличие в мире двух...
10300. Сознание - состояние психической жизни человека 13.75 KB
  Сознание состояние психической жизни человека это способность познавать не только истину но и различать добро и зло справедливость и несправедливость прекрасное и безобразное. Термин сознание является трудным для определения поскольку данное слово исполь
10301. Бенедикт Спиноза 13.51 KB
  Бенедикт Спиноза был самым значительным философом. Главные интересы Спинозы были направлены на изучение и разработку философских проблем. Спиноза стремился построить философию на достоверных началах. Основу философской системы Спинозы составляет учение о субстанци...
10302. Патристика средневековое философское мышление 17.08 KB
  Патристика Характерной особенностью средневекового философского мышления свойственного патристике является то что мыслители в целях подтверждения своих идей обращаются к самому авторитетному и древнему источнику Библии. Она рассматривается как полный свод истин...
10303. Общество - совокупность исторически сложившихся форм совместной деятельности людей 13.85 KB
  Общество совокупность исторически сложившихся форм совместной деятельности людей. В узком смысле слова общество может рассматриваться как конкретное общество в единстве его общих особенных и единичных признаков. Становление общества – долгий процесс длившийся неско...
10304. Философия Людвига Фейербаха 12.67 KB
  Философия Людвига Фейербаха Несмотря на то что классическая немецкая философия получила свое наиболее полное выражение в идеалистических философских системах именно в этот момент возникла одна из мощнейших материалистических идей Людвига Фейербаха. Фейербах ст
10305. Современная философия 12.45 KB
  Современная философия чрезвычайно многообразна. Вместе с тем в ней есть свои центры притяжения в виде относительно самостоятельных направлений или течений. Их тоже много но в плане самой общей картины можно ограничиться тремя: аналитическим феноменологическим и постм
10306. Раннегреческая философия (милетская и элейская школы философии) 13.1 KB
  Раннегреческая философия милетская и элейская школы философии Милетская школа существовала в Древней Греции в VI в. до н. э. Представителями данной школы являлись Фалес Анаксимандр Анаксимен. Философы милетской школы: выступали с материалистических позиций; занимал