38920

Исследование Свойств энтропии одиночных отсчетов случайных последовательностей

Лабораторная работа

Информатика, кибернетика и программирование

Цель работы Численное определение величины энтропии последовательностей дискретных случайных величин. Краткие теоретические сведения Согласно классической теории информации минимальное количество данных на один отсчет необходимых при идеальном кодировании дискретной случайной величины X определяется распределением вероятностей этой величины Pxi. Квантование непрерывной случайной величины преобразует эту величину в дискретную. Очевидно что полученный при этом результат будет зависеть как от плотности распределения вероятностей...

Русский

2013-09-30

107 KB

10 чел.

PAGE  2

Министерство образования и науки, молодежи и спорта Украины

Севастопольский национальный технический

университет

Исследование Свойств энтропии одиночных

отсчетов случайных последовательностей

Методические указания к выполнению лабораторной работы №6

по дисциплине «Методы информационной оптимизации систем и процессов»

для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Севастополь

2012

УДК 621.391:681.05.015.23

Методические указания к выполнению лабораторной работы №6 по дисциплине «Методы информационной оптимизации систем и процессов» / Сост. С. В. Доценко, А. Ю. Дрозин – Севастополь: Изд-во СевНТУ, 2012. – 8 с.

Целью методических указаний является помощь студентам в выполнении лабораторной работы. Излагаются теория к выполнению данной лабораторной работы, требования к содержанию отчета.

Методические указания предназначены для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Методические указания рассмотрены и утверждены на заседании кафедры Информационных систем, протокол №7 от 23.02.2011 г.

Допущено учебно-методическим центром СевНТУ в качестве методических указаний.

Рецензент: Скороход Б. А., д. т. н., профессор кафедры Технической кибернетики.

СОДЕЖАНИЕ

1. Цель работы……………………………………………………………………...4

2. Краткие теоретические сведения…………………………………………….…4

3. Порядок выполнения работы и варианты заданий…………………….……..10

4. Содержание отчета…………………………………………………………......10

5. Контрольные вопросы……………………………………………………...…..11

БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………...11

1. Цель работы

  1.  Численное определение величины энтропии  последовательностей дискретных случайных величин.
  2.  Сопоставление результатов численных экспериментов с выводами теории.

2. Краткие теоретические сведения

Согласно классической теории информации, минимальное количество данных на один отсчет, необходимых при идеальном  кодировании дискретной случайной величины X, определяется распределением вероятностей этой величины P(xi). Оно носит название безусловной энтропии (неопределенности) H(x) и дается формулой

 . (1)

Единица количества энтропии определяется выбором основания логарифмов. Когда используются логарифмы при основании 2, то энтропия H измеряется в двоичных единицах (дв. ед., бит). Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения энтропии. Этот переход осуществляется по формуле

 . (2)    

Энтропия H – удобная мера неопределенности законов распределения вероятностей, особенно в тех случаях, когда распределения являются асимметричными, многовершинными и когда использование таких числовых характеристик, как среднее значение, дисперсия и моменты высших порядков, теряет всякую наглядность и удобство.

Квантование непрерывной случайной величины преобразует эту величину в дискретную. При этом возникает вопрос: какое минимальное количество данных необходимо в среднем, чтобы описать полученную дискретную величину? Для ответа на него следует воспользоваться формулой (1) . Очевидно, что полученный при этом результат будет зависеть как от плотности распределения вероятностей исходной непрерывной случайной величины, так и от величины кванта.

Известно, что количество информации, содержащееся в непрерывной гауссовской величине, преобразованной в дискретную с шагом q, равно

 , (3)

где  — дисперсия исходной величины X. Для гауссовских величин

 I(X)=H(X). (4)

Рассмотрим решение такой задачи на конкретном примере.              

Создадим вектор X0 из N случайных непрерывных чисел, распределенных по нормальному закону с нулевым математическим ожиданием и стандартным (среднеквадратическим) отклонением, равным единице. Этот вектор представляет собой гауссовский белый шум.

>> N=1000;                                                    % число отсчетов процесса

>> X0=randn(1,N);                                        % независимые нормальные отсчеты

>>[n1,x01]=hist(X0,10)                                 % гистограмма на 10 интервалов:

                                                                      % x 01- вектор интервалов,                                                                % n1 – число значений вектора X0,                                              % попавших в эти интервалы

Получим:

n1 =   17    40    94   170   207   213   151    76    24     8

x01 =  2.3323   1.7948   1.2572   0.7196   0.1820    0.3556    0.8932    1.4308    1.9683    2.5059

>>hist(X0,10)                                       % изображение гистограммы (рисунок 1)

Рисунок 1 — Гистограмма для X0 на10 интервалов

>> P1=n1/N                 % вектор частот попадания значений X0 в интервалы x01

В нашем случае конечного числа отсчетов случайной величины Х частоты играют роль вероятностей. Так как частоты в известной мере случайны, то получаемые значения энтропии не точны, а представляют ее оценки. Вектор частот в нашем случае имеет вид

P1 =  0.0170    0.0400    0.0940    0.1700    0.2070    0.2130    0.1510    0.0760    0.0240    0.0080

>> H1=–P1*log2(P1)'                              % формула для оценки энтропии

Применяя эту формулу, найдем величину оценки энтропии для данного случая: H1 = 2.8658 бит.

Среднеквадратическое значение вектора X0 есть std(X0) = 0.9435, минимальное значение отсчета этого вектора min(X0) = –2.6011, а его максимальное значение max(X0) =2.7747. Поэтому интервал квантования в гистограмме составляет величину x01 = (max(X0) – min(X0))/10 = 0,53758, что и отражено на гистограмме. Полагая q=x01  и применяя формулу (3), получим I(X)=2.7050 бит. Сравнивая H1, видим, что эти величины близки друг другу.

Теперь построим гистограмму для того же вектора X0 на 15 интервалов:

>> [n2,x02]=hist(X0,15)

Получим:

n2 =   10    16    31    53    95   116   130   147   143   115    67    45    17    11     4

x02 =  2.4219   2.0636   1.7052   1.3468   0.9884   0.6300   0.2716    0.0868    0.4452       0.8036     1.1620     1.5204    1.8787     2.2371    2.5955

Его гистограмма hist(X0,15) представлена на рисунке 2.

>> P2=n2/N                 % вектор частот попадания значений X0 в интервалы x02

В нашем случае это

P2 = 0.0100    0.0160    0.0310    0.0530    0.0950    0.1160    0.1300    0.1470    0.1430    0.1150          0.0670    0.0450    0.0170    0.0110    0.0040

Интервал квантования в этой гистограмме составляет величину

x02 = (max(X0) – min(X0))/15 = 0,35839.

Оценка энтропии в этом случае дается формулой H2= –P2*log2(P2)' бит, которая дает величину H2 =3.4403 бит. Здесь I(X)=3,2806 бит.

Построим гистограмму для того же вектора X0 на 20 интервалов:

>> [n3,x03]=hist(X0,20)

Получим:

n3 =  7    10    12    28    37    57    79    91    92   115   117    96    91    60    44    32    15      9     4     4

x03 = 2.4667   2.1979   1.9292   1.6604   1.3916   1.1228   0.8540   0.5852   0.3164      0.0476    0.2212     0.4900    0.7588    1.0276    1.2964     1.5652    1.8339     2.1027      2.3715    2.6403

Вектор частот попадания значений X0 в интервалы x03 есть P3=n3/N:

P3 = 0.0070    0.0100    0.0120    0.0280    0.0370    0.0570    0.0790    0.0910    0.0920    0.1150     0.1170    0.0960    0.0910    0.0600    0.0440    0.0320    0.0150    0.0090    0.0040    0.0040

Оценка энтропии здесь дается формулой H3 = –P3*log2(P3)'  бит, которая дает H3 = 3.8465 бит, а интервал квантования в гистограмме составляет величину  x02 = 0,26879.   Здесь  I(X)=3,6923  бит. 

Рисунок 2 — Гистограмма для X0 на15 интервалов

Наконец, построим гистограмму для вектора X0 на 25 интервалов:

>> [n4, x04]=hist(X0,25)

Получим:

n4 = 4       9    11     6    27    27    40    64    57    76    66    94    94    93    73    71    59     35      36    26   15     4      7      3      3

x = 2.4936   2.2786   2.0636   1.8485   1.6335   1.4184   1.2034   0.9884       0.7733         0.5583   0.3433   0.1282     0.0868    0.3018    0.5169     0.7319    0.9469    1.1620          1.3770    1.5920    1.8071      2.0221    2.2371    2.4522     2.6672

Вектор частот попадания значений X0 в интервалы x04 есть P4=n4/N:

P4 = 0.0040    0.0090    0.0110    0.0060    0.0270    0.0270    0.0400    0.0640    0.0570    0.0760        0.0660    0.0940    0.0940    0.0930    0.0730    0.0710    0.0590    0.0350    0.0360    0.0260      0.0150    0.0040    0.0070    0.0030    0.0030

Оценка энтропии здесь дается формулой

>>H4 = –P4*log2(P4)', которая дает H4 = 4.1562 бит, а интервал квантования в гистограмме составляет величину  x04 = 0,215032. Величина  I(X)=4,0126 бит.

Итак, с уменьшением интервала квантования энтропия гауссовской случайной величины растет. Необходимо экспериментально определить степень этого роста для негауссовских случайных величин.

3. Программа и порядок выполнения работы, варианты заданий

  1.  В соответствии с полученным у преподавателя вариантом распределения вероятностей смоделировать массив X0 из N=10000 отсчетов.
  2.  Из полученного массива X0 смоделировать последовательно гистограммы на 10, 20, 30, 40, 50 интервалов.
  3.  По полученным гистограммам найти векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Рассчитать для всех наборов величины энтропии.
  5.  Построить зависимость энтропии и информации от отношения величины кванта к среднеквадратическому отклонению величины X0.

Таблица 1 — Распределения вероятностей, команды генерации случайных величин и команды вычисления их числовых характеристик

Вид распределения

Команда генерации

случайной величины

Команда вычисления

M1 и σ2

1

Бета

X=betarnd(A,B,m,n)

[M,V]=betastat(A,B)

2

Экспоненциальное

X=exprnd(MU,m,n)

[M,V]=expstat(MU)

3

Гамма

X=gamrnd(A,B,m,n)

[M,N]=gamstat(A,B)

4

Логнормальное

X=lognrnd(MU,SIGMA,m,n)

[M,V]=lognstat(MU,SIGMA)

5

Нормальное (гауссовское)

X=normrnd(MU,SIGMA,m,n)

[M,V]=normstat(MU,SIGMA)

6

Релея

X=raylrnd(B,m,n)

[M,V]=raylstat(B)

7

Равномерное

X=unifrnd(A,B,m,n)

[M,V]=unifstat(A,B)

8

Вейбулла

X=weibrnd(A,B,m,n)

[M,V]=weibstat(A,B)

9

Хи-квадрат

X=chi2rnd(NU,m,n)

[M,V]=chi2stat(NU)

10

Нецентральное хи-квадрат

X=ncx2rnd(NU,DELTA,m,n)

[M,V]=ncx2stat(NU,DELTA)

11

Фишера-Снекора (F-распредел.)

X=frnd(V1,V2,m,n)

[M,V]=fstat(V1,V2)

12

Нецентральное F-распределение

X=ncfrnd(NU1,NU2,DELTA,m,n)

[M,V]=ncfstat(NU1,NU2,DELTA)

13

Стьюдента (t-распределение)

X=trnd(NU,m,n)

[M,V]=tstat(NU)

14

Нецентральное t-распределение

X=nctrnd(NU,DELTA,m,n)

[M,V]=nct(NU,DELTA)

В этой таблице: A, B, MU, NU, NU1, NU2, V1, V2, DELTA, LAMBDA, NN, M, K, P, RR – параметры, описывающие распределения; X – матрица размером mn, состоящая из случайных величин ξ, имеющих указанное распределение; M –математическое ожидание M[ξ] и V – дисперсия случайных величин ξ. Команда из столбца IV дает возможность вычислить теоретическое значение МО M1=M[ξ], обозначаемое здесь как M, и теоретическую дисперсию σ2, обозначаемую как V.

4. Содержание отчета

Отчет должен содержать следующие пункты:

  1.  Постановка задачи (вариант задания).
  2.  Результат генерации случайной величины X0 с заданным законом распределения вероятностей.
  3.  Векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Результаты расчетов для всех наборов величин энтропии и информации с сопоставлением их на графиках.
  5.  Выводы по работе.

5. Контрольные вопросы

  1.  Что такое энтропия? Что она характеризует?
  2.  Дайте определение взаимной информации?
  3.  Почему в эксперименте количество информации не совпадает с энтропией?
  4.  Что такое гистограмма?
  5.  Как получить векторы частот попадания значений X0 в соответствующие интервалы?
  6.  Как зависят гистограммы от числа N исследуемых случайных чисел?
  7.  Как зависит вид гистограммы от числа ее интервалов? Почему?

Библиографический список

  1.  Вентцель Е.С. Теория вероятностей./ Е.С. Вентцель. — М.: Высшая школа, 2001. — 575 с.
  2.  Лазарев Ю. MatLAB 5.x./ Юрий Лазарев. — Киев: «Ирина», BHV, 2000. 383 с.
  3.  Сергиенко А.Б. Цифровая обработка сигналов./ А.Б. Сергиенко. — М., С-П., НН, В, РнД, Е, С, К., Х.,М.: ПИТЕР, 2003. — 603 с.


 

А также другие работы, которые могут Вас заинтересовать

70207. Проектирование застройки жилого комплекса в климатических условиях г. Новосибирска 525.5 KB
  Приобретение навыков: обоснования минимальной мощности и проектирования структуры организационной системы по осуществлению программы жилищного строительства; проектирования директивного графика строительства объектов в реальном масштабе времени, т.е. с учетом влияния климатических факторов...
70209. Основные понятия экологии. Экосистема - основная функциональная единица в экологии 152 KB
  Окружающая среда совокупность компонентов природной среды земля недра почвы поверхностные и подземные воды атмосферный воздух растительный и животный мир и иные организмы а также озоновый слой атмосферы и околоземное пространство природных и природно-антропогенных объектов...
70211. Техногенні та природні процеси порушення умов життя 155.5 KB
  Відповідно до причин походження подій що можуть зумовити виникнення надзвичайних ситуації на території України розрізняються: Таблиця 1 Класифікація надзвичайних ситуацій Надзвичайні ситуації Техногенного походження Природного походження Соціальнополітичного походження Воєнного походження...
70212. Kryminalistyka a jej wybrane elementy 723 KB
  Kształtowanie przedmiotu nauki kryminalistyki ma pewny historyczny aspekt, treść którego przed ten czas składa dyskusyjny problem. Przedmiot dowolnej nauki rozwija się, doskonalą się jego treść i metody w odpowiedniości do ogólnego gromadzenia naukowych wiedz i socjalnych warunków rozwoju społeczeństwa.
70214. Сущность, функции и основные задачи инвестиционного анализа 140 KB
  В общепринятом смысле инвестиции – осознанный отказ от тек потребления в пользу возможного относительно большего дохода в будущем который как ожидается обеспечит и большее суммарное потребление. По определению инвестиции связаны с затратами и риском это главная особть...