38920

Исследование Свойств энтропии одиночных отсчетов случайных последовательностей

Лабораторная работа

Информатика, кибернетика и программирование

Цель работы Численное определение величины энтропии последовательностей дискретных случайных величин. Краткие теоретические сведения Согласно классической теории информации минимальное количество данных на один отсчет необходимых при идеальном кодировании дискретной случайной величины X определяется распределением вероятностей этой величины Pxi. Квантование непрерывной случайной величины преобразует эту величину в дискретную. Очевидно что полученный при этом результат будет зависеть как от плотности распределения вероятностей...

Русский

2013-09-30

107 KB

10 чел.

PAGE  2

Министерство образования и науки, молодежи и спорта Украины

Севастопольский национальный технический

университет

Исследование Свойств энтропии одиночных

отсчетов случайных последовательностей

Методические указания к выполнению лабораторной работы №6

по дисциплине «Методы информационной оптимизации систем и процессов»

для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Севастополь

2012

УДК 621.391:681.05.015.23

Методические указания к выполнению лабораторной работы №6 по дисциплине «Методы информационной оптимизации систем и процессов» / Сост. С. В. Доценко, А. Ю. Дрозин – Севастополь: Изд-во СевНТУ, 2012. – 8 с.

Целью методических указаний является помощь студентам в выполнении лабораторной работы. Излагаются теория к выполнению данной лабораторной работы, требования к содержанию отчета.

Методические указания предназначены для магистрантов специальности 07.080401 «Информационные управляющие системы и технологии»

Методические указания рассмотрены и утверждены на заседании кафедры Информационных систем, протокол №7 от 23.02.2011 г.

Допущено учебно-методическим центром СевНТУ в качестве методических указаний.

Рецензент: Скороход Б. А., д. т. н., профессор кафедры Технической кибернетики.

СОДЕЖАНИЕ

1. Цель работы……………………………………………………………………...4

2. Краткие теоретические сведения…………………………………………….…4

3. Порядок выполнения работы и варианты заданий…………………….……..10

4. Содержание отчета…………………………………………………………......10

5. Контрольные вопросы……………………………………………………...…..11

БИБЛИОГРАФИЧЕСКИЙ СПИСОК …………………………………………...11

1. Цель работы

  1.  Численное определение величины энтропии  последовательностей дискретных случайных величин.
  2.  Сопоставление результатов численных экспериментов с выводами теории.

2. Краткие теоретические сведения

Согласно классической теории информации, минимальное количество данных на один отсчет, необходимых при идеальном  кодировании дискретной случайной величины X, определяется распределением вероятностей этой величины P(xi). Оно носит название безусловной энтропии (неопределенности) H(x) и дается формулой

 . (1)

Единица количества энтропии определяется выбором основания логарифмов. Когда используются логарифмы при основании 2, то энтропия H измеряется в двоичных единицах (дв. ед., бит). Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения энтропии. Этот переход осуществляется по формуле

 . (2)    

Энтропия H – удобная мера неопределенности законов распределения вероятностей, особенно в тех случаях, когда распределения являются асимметричными, многовершинными и когда использование таких числовых характеристик, как среднее значение, дисперсия и моменты высших порядков, теряет всякую наглядность и удобство.

Квантование непрерывной случайной величины преобразует эту величину в дискретную. При этом возникает вопрос: какое минимальное количество данных необходимо в среднем, чтобы описать полученную дискретную величину? Для ответа на него следует воспользоваться формулой (1) . Очевидно, что полученный при этом результат будет зависеть как от плотности распределения вероятностей исходной непрерывной случайной величины, так и от величины кванта.

Известно, что количество информации, содержащееся в непрерывной гауссовской величине, преобразованной в дискретную с шагом q, равно

 , (3)

где  — дисперсия исходной величины X. Для гауссовских величин

 I(X)=H(X). (4)

Рассмотрим решение такой задачи на конкретном примере.              

Создадим вектор X0 из N случайных непрерывных чисел, распределенных по нормальному закону с нулевым математическим ожиданием и стандартным (среднеквадратическим) отклонением, равным единице. Этот вектор представляет собой гауссовский белый шум.

>> N=1000;                                                    % число отсчетов процесса

>> X0=randn(1,N);                                        % независимые нормальные отсчеты

>>[n1,x01]=hist(X0,10)                                 % гистограмма на 10 интервалов:

                                                                      % x 01- вектор интервалов,                                                                % n1 – число значений вектора X0,                                              % попавших в эти интервалы

Получим:

n1 =   17    40    94   170   207   213   151    76    24     8

x01 =  2.3323   1.7948   1.2572   0.7196   0.1820    0.3556    0.8932    1.4308    1.9683    2.5059

>>hist(X0,10)                                       % изображение гистограммы (рисунок 1)

Рисунок 1 — Гистограмма для X0 на10 интервалов

>> P1=n1/N                 % вектор частот попадания значений X0 в интервалы x01

В нашем случае конечного числа отсчетов случайной величины Х частоты играют роль вероятностей. Так как частоты в известной мере случайны, то получаемые значения энтропии не точны, а представляют ее оценки. Вектор частот в нашем случае имеет вид

P1 =  0.0170    0.0400    0.0940    0.1700    0.2070    0.2130    0.1510    0.0760    0.0240    0.0080

>> H1=–P1*log2(P1)'                              % формула для оценки энтропии

Применяя эту формулу, найдем величину оценки энтропии для данного случая: H1 = 2.8658 бит.

Среднеквадратическое значение вектора X0 есть std(X0) = 0.9435, минимальное значение отсчета этого вектора min(X0) = –2.6011, а его максимальное значение max(X0) =2.7747. Поэтому интервал квантования в гистограмме составляет величину x01 = (max(X0) – min(X0))/10 = 0,53758, что и отражено на гистограмме. Полагая q=x01  и применяя формулу (3), получим I(X)=2.7050 бит. Сравнивая H1, видим, что эти величины близки друг другу.

Теперь построим гистограмму для того же вектора X0 на 15 интервалов:

>> [n2,x02]=hist(X0,15)

Получим:

n2 =   10    16    31    53    95   116   130   147   143   115    67    45    17    11     4

x02 =  2.4219   2.0636   1.7052   1.3468   0.9884   0.6300   0.2716    0.0868    0.4452       0.8036     1.1620     1.5204    1.8787     2.2371    2.5955

Его гистограмма hist(X0,15) представлена на рисунке 2.

>> P2=n2/N                 % вектор частот попадания значений X0 в интервалы x02

В нашем случае это

P2 = 0.0100    0.0160    0.0310    0.0530    0.0950    0.1160    0.1300    0.1470    0.1430    0.1150          0.0670    0.0450    0.0170    0.0110    0.0040

Интервал квантования в этой гистограмме составляет величину

x02 = (max(X0) – min(X0))/15 = 0,35839.

Оценка энтропии в этом случае дается формулой H2= –P2*log2(P2)' бит, которая дает величину H2 =3.4403 бит. Здесь I(X)=3,2806 бит.

Построим гистограмму для того же вектора X0 на 20 интервалов:

>> [n3,x03]=hist(X0,20)

Получим:

n3 =  7    10    12    28    37    57    79    91    92   115   117    96    91    60    44    32    15      9     4     4

x03 = 2.4667   2.1979   1.9292   1.6604   1.3916   1.1228   0.8540   0.5852   0.3164      0.0476    0.2212     0.4900    0.7588    1.0276    1.2964     1.5652    1.8339     2.1027      2.3715    2.6403

Вектор частот попадания значений X0 в интервалы x03 есть P3=n3/N:

P3 = 0.0070    0.0100    0.0120    0.0280    0.0370    0.0570    0.0790    0.0910    0.0920    0.1150     0.1170    0.0960    0.0910    0.0600    0.0440    0.0320    0.0150    0.0090    0.0040    0.0040

Оценка энтропии здесь дается формулой H3 = –P3*log2(P3)'  бит, которая дает H3 = 3.8465 бит, а интервал квантования в гистограмме составляет величину  x02 = 0,26879.   Здесь  I(X)=3,6923  бит. 

Рисунок 2 — Гистограмма для X0 на15 интервалов

Наконец, построим гистограмму для вектора X0 на 25 интервалов:

>> [n4, x04]=hist(X0,25)

Получим:

n4 = 4       9    11     6    27    27    40    64    57    76    66    94    94    93    73    71    59     35      36    26   15     4      7      3      3

x = 2.4936   2.2786   2.0636   1.8485   1.6335   1.4184   1.2034   0.9884       0.7733         0.5583   0.3433   0.1282     0.0868    0.3018    0.5169     0.7319    0.9469    1.1620          1.3770    1.5920    1.8071      2.0221    2.2371    2.4522     2.6672

Вектор частот попадания значений X0 в интервалы x04 есть P4=n4/N:

P4 = 0.0040    0.0090    0.0110    0.0060    0.0270    0.0270    0.0400    0.0640    0.0570    0.0760        0.0660    0.0940    0.0940    0.0930    0.0730    0.0710    0.0590    0.0350    0.0360    0.0260      0.0150    0.0040    0.0070    0.0030    0.0030

Оценка энтропии здесь дается формулой

>>H4 = –P4*log2(P4)', которая дает H4 = 4.1562 бит, а интервал квантования в гистограмме составляет величину  x04 = 0,215032. Величина  I(X)=4,0126 бит.

Итак, с уменьшением интервала квантования энтропия гауссовской случайной величины растет. Необходимо экспериментально определить степень этого роста для негауссовских случайных величин.

3. Программа и порядок выполнения работы, варианты заданий

  1.  В соответствии с полученным у преподавателя вариантом распределения вероятностей смоделировать массив X0 из N=10000 отсчетов.
  2.  Из полученного массива X0 смоделировать последовательно гистограммы на 10, 20, 30, 40, 50 интервалов.
  3.  По полученным гистограммам найти векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Рассчитать для всех наборов величины энтропии.
  5.  Построить зависимость энтропии и информации от отношения величины кванта к среднеквадратическому отклонению величины X0.

Таблица 1 — Распределения вероятностей, команды генерации случайных величин и команды вычисления их числовых характеристик

Вид распределения

Команда генерации

случайной величины

Команда вычисления

M1 и σ2

1

Бета

X=betarnd(A,B,m,n)

[M,V]=betastat(A,B)

2

Экспоненциальное

X=exprnd(MU,m,n)

[M,V]=expstat(MU)

3

Гамма

X=gamrnd(A,B,m,n)

[M,N]=gamstat(A,B)

4

Логнормальное

X=lognrnd(MU,SIGMA,m,n)

[M,V]=lognstat(MU,SIGMA)

5

Нормальное (гауссовское)

X=normrnd(MU,SIGMA,m,n)

[M,V]=normstat(MU,SIGMA)

6

Релея

X=raylrnd(B,m,n)

[M,V]=raylstat(B)

7

Равномерное

X=unifrnd(A,B,m,n)

[M,V]=unifstat(A,B)

8

Вейбулла

X=weibrnd(A,B,m,n)

[M,V]=weibstat(A,B)

9

Хи-квадрат

X=chi2rnd(NU,m,n)

[M,V]=chi2stat(NU)

10

Нецентральное хи-квадрат

X=ncx2rnd(NU,DELTA,m,n)

[M,V]=ncx2stat(NU,DELTA)

11

Фишера-Снекора (F-распредел.)

X=frnd(V1,V2,m,n)

[M,V]=fstat(V1,V2)

12

Нецентральное F-распределение

X=ncfrnd(NU1,NU2,DELTA,m,n)

[M,V]=ncfstat(NU1,NU2,DELTA)

13

Стьюдента (t-распределение)

X=trnd(NU,m,n)

[M,V]=tstat(NU)

14

Нецентральное t-распределение

X=nctrnd(NU,DELTA,m,n)

[M,V]=nct(NU,DELTA)

В этой таблице: A, B, MU, NU, NU1, NU2, V1, V2, DELTA, LAMBDA, NN, M, K, P, RR – параметры, описывающие распределения; X – матрица размером mn, состоящая из случайных величин ξ, имеющих указанное распределение; M –математическое ожидание M[ξ] и V – дисперсия случайных величин ξ. Команда из столбца IV дает возможность вычислить теоретическое значение МО M1=M[ξ], обозначаемое здесь как M, и теоретическую дисперсию σ2, обозначаемую как V.

4. Содержание отчета

Отчет должен содержать следующие пункты:

  1.  Постановка задачи (вариант задания).
  2.  Результат генерации случайной величины X0 с заданным законом распределения вероятностей.
  3.  Векторы частот попадания значений X0 в соответствующие интервалы.
  4.  Результаты расчетов для всех наборов величин энтропии и информации с сопоставлением их на графиках.
  5.  Выводы по работе.

5. Контрольные вопросы

  1.  Что такое энтропия? Что она характеризует?
  2.  Дайте определение взаимной информации?
  3.  Почему в эксперименте количество информации не совпадает с энтропией?
  4.  Что такое гистограмма?
  5.  Как получить векторы частот попадания значений X0 в соответствующие интервалы?
  6.  Как зависят гистограммы от числа N исследуемых случайных чисел?
  7.  Как зависит вид гистограммы от числа ее интервалов? Почему?

Библиографический список

  1.  Вентцель Е.С. Теория вероятностей./ Е.С. Вентцель. — М.: Высшая школа, 2001. — 575 с.
  2.  Лазарев Ю. MatLAB 5.x./ Юрий Лазарев. — Киев: «Ирина», BHV, 2000. 383 с.
  3.  Сергиенко А.Б. Цифровая обработка сигналов./ А.Б. Сергиенко. — М., С-П., НН, В, РнД, Е, С, К., Х.,М.: ПИТЕР, 2003. — 603 с.


 

А также другие работы, которые могут Вас заинтересовать

63469. Принципи постмодернізму в художній літературі рубежу ХХ – ХХІ століть 32.98 KB
  Мета: Ознайомити студентів зі зрушеннями у філософських концепціях способі мислення сучасної людини що відбулися на межі ХХ ХХІ століть та знайшли специфічне відображення у текстах художньої літератури. Завдання: Розкрити особливості й сутність сучасної ситуації постмодернізму.
63470. Спецификация JavaBeans 158 KB
  Для того, чтобы класс Java можно было назвать компонентом JavaBeans, он должен удовлетворять перечисленным ниже требованиям: Способность к инициализации нового экземпляра. Компоненты JavaBeans нельзя создавать на основе интерфейсов и абстрактных классов.
63471. Сериализация объектов 96 KB
  Сериализация объектов Java позволяет вам взять любой объект, который реализует интерфейс Serializable, и включить его в последовательность байт, которые могут быть полностью восстановлены для восстановления исходного объекта.
63472. Настройка страницы свойств 102.5 KB
  При создании кода компонента JavaBeans следует помнить о том, что этот компонент помимо пассивных имеет и активных пользователей, которые могут применять для него визуальные инструменты разработки.
63473. Java DataBase Connectivity. Основы языка SQL 162 KB
  Чтобы получить доступ в БД, поставляемой некоторым поставщиком, вы обращаетесь через разработанный поставщиком движок, в котором используется своя реализация SQL. Несовместимость, главным образом, связана с встроенным SQL и хранимыми процедурами (stored procedure).
63474. Java DataBase Connectivity. Уровни изолированности транзакций 84 KB
  Есть несколько способов разрешения конфликтов между одновременно выполняющимися транзакциями. Пользователь может задать уровень изолированности, то есть уровень внимания, которое СУБД должна уделить при разрешении возможных конфликтов.
63475. Информационные системы 93.5 KB
  Пример: Система Элементы системы Главная цель системы Фирма Люди оборудование материалы здания Производство товаров Информационная система Компьютеры компьютерные сети люди информационное и программное обеспечение Производство профессиональной информации Информационная система...
63476. Предмет возрастной психологии. Общие закономерности психического развития в онтогенезе 247 KB
  Возрастная психология отвечает на вопросы когда эти образования появляются у ребенка каковы их особенности в определенном возрасте. Связь возрастной психологии с социальной дает возможность проследить зависимость развития и поведения ребенка от специфики тех групп в которые он входит...