163

Теория информации. Информационные модели дискретных источников сообщений

Лекция

Математика и математический анализ

Понятие информации относится к основополагающим категориям как философии, так и естественных наук. Информационные модели дискретных источников сообщений и их свойства. Эпсилон-энтропия гауссовских процессов. Методика расчета информационной производительности дискретных интерполяционных представлений процессов полиномами Лагранжа.

Русский

2012-11-17

709.11 KB

61 чел.

2
ПРЕДИСЛОВИЕ.
Понятие  информации  относится  к  основополагающим  категориям  как
философии, так и  естественных  наук.  Определяя  природу  информации,  большинство
отечественных  и  иностранных  философов  связывают  её  с  важнейшим    свойством
материальной и духовной сфер - свойством отражения.
В  настоящее  время  существуют  два  альтернативных  подхода  к  определению
информации: атрибутивное и функциональное (кибернетическое).Согласно первому    -
информация  определяется  как  отраженное  многообразие  материального  и    духовного
мира. Следовательно, эта категория присуща как неживой, так и живой  природе или в
соответствии с принципами системного подхода - как  казуальным, так и имманентным
системам.  Согласно  второму - информация    присуща  только  самоорганизующимся
системам как живой, так и искусственной  (кибернетической) природы.
Информационным  процессом  называют  процесс,  возникающий  в  результате
установления временной связи (взаимодействия) между двумя объектами:   источником
или генератором информации и её приемником или получателем.
Анализ  многообразных  форм  отражения  позволяет  выделить  следующие
количественные  аспекты - меры  информации:  комбинаторную,  метрологическую,
статистическую, семантическую, прагматическую, алгоритмическую и топологическую.
Однако  ограничиваясь  рассмотрением    класса  автоматизированных  систем  обработки
информации  и  управления  (АСОИУ),  в  дальнейшем  будем  использоваться  только
первые три из вышеприведённых мер  информации.
Другими, 
не 
менее 
важными 
понятиями 
вещественно-энергетической
опосредованности  информационного  процесса,  являются  понятия  сообщения  и
сигнала.  Под  сообщением  понимается  форма  представления  информации,  а  под
сигналом - её  материальный  носитель  в  пространстве  и  времени.  Предметом  науки,
теоретические  основы  которой  рассматриваются  в    настоящем  курсе,  являются
информационные  процессы,  интерпретируемые  в    соответствии  с  функциями  и
структурой АСОИУ как процессы получения (сбора или измерения), транспортировки
(передачи), хранения, обработки, отображения  и управления. Эти процессы являются
следствиями  преобразований  информации    гипотетическими  компонентами  таких
систем,  рассматриваемых  в  отдельности  или    в  совокупности.  Это  в  конечном  счете
определяет как методологию теории  информационных процессов, так и её прикладную
направленность,  обобщенные  по    многочисленным  монографиям,  учебникам  и
научным  публикациям.  Суть  их    заключается  в  системотехническом  подходе  к
формированию  концептуальных  базовых  знаний  на  этапе  исследований  предельных
информационных    характеристик  внешней  среды  (объектов  автоматизации  и
управления),  реальных  объемов  информационных  потоков  в  структурно-
функциональных  подсистемах    АСОИУ  на  основе  проведения  совокупности
информационных расчетов.
Первая глава курса посвящена рассмотрению количественных мер информации
для  дискретных  и  непрерывных  источников  сообщений,  а  также  вопросам  измерения
минимальной  информационной  емкости  (ε-энтропии)  непрерывных  сообщений    в
условиях конечной разрешающей способности (ε-погрешности) измерений.
Вторая  глава  содержит  сведения,  связанные  с  определением  информационных
характеристик реальных моделей дискретных и непрерывных источников сообщений, а
также  рассматривает  границы  и  методы  эффективного  обратимого  кодирования
дискретных 
источников 
сообщений, 
а 
также 
ε-энтропию  (минимальную
информационную ε-производительность) моделей непрерывных источников.

3
Третья  глава  включает  в  себя  инженерные  методики  системотехнических
расчетов  информационной  производительности  дискретных  и  цифровых  регулярных
представлений информационных процессов и оценок их эффективности.
Материалы первых двух глав являются в определенной степени традиционными с
точки  зрения  классической  теории  информации,  а  последняя - отражает  этапы
системотехнических  расчетов  и  представлений,  используемых  при    формировании
информационного облика рассматриваемых систем.
Вопросы  процессов  передачи - оценки  пропускной  способности  и  методы
помехоустойчивого  кодирования  информации  в  телекоммуникационной  среде
АСОИУ,  а  также  информационных  аспектов  управления  излагаются  в  Части  1
настоящего курса.

5
ВВЕДЕНИЕ
В основе функционирования автоматизированных систем обработки  информации
и управления (АСОИУ) лежат информационные процессы, возникающие в  результате
целевого  взаимодействия  объекта  автоматизации  и  компонент  самой    системы.
Поэтому  предметом  науки,  теоретические  основы  которой    рассматриваются  в
настоящем  курсе,  являются  информационные  процессы,  понимаемые  в  широком
смысле  как  процессы  получения,  хранения,  транспортировки  (передачи),
преобразования  и  представления  информации,  взятые    по  отдельности  или  в
совокупности.
Как  и  в  любой  точной  науке,  информационные  процессы  нуждаются  в
количественных  оценках.  Оценка  количества  информации  в  значительной  степени
зависит от подхода к самому понятию информации, т.е. от подхода к ее  содержанию. В
настоящее время существует четыре основных теории, использующие количественные
меры информации:
1.Статистическая  теория,  оценивает  информацию  с  точки  зрения  меры
неопределенности,  снимаемой  при  получении  информации.  При  этом  основное
внимание 
обращается 
на 
вероятностные 
(статистические) 
характеристики
информационных  процессов,  позволяющие  в  конечном  счете  определить
количественные меры информации.
2.Семантическая (прагматическая) теория оценивает в основном смысловую  или
практическую ценность информации и количественно связывает ее со  старением или
эффективностью управления в системе.
3.Структурная  (комбинаторная)  теория  рассматривает  структуру    построения
информационных  массивов,  а  также  топологию  систем  автоматизации    путем  оценки
количества  элементарных  элементов  (квантов),  составляющих    структуру  или
информационный массив в целом.
4.Алгоритмическая  теория  рассматривает  возможность  моделирования    объекта
информации  через  другой,  а  меру  информации  связывает  со  сложностью    алгоритма
моделирования.
Анализ вышеуказанных подходов позволяет сделать вывод о конструктивности и
универсальности статистической и комбинаторной теорий при количественной оценке
качества  функционирования  АСОИУ,  что  и  предопределяет  их  последующее
использование для оценки характеристик информационных  процессов.

6
Глава 1.Мера количества информации.
1.1 Мера информации дискретных источников сообщений.
Введем  в  рассмотрение  дискретный  источник  сообщений X, описываемый
следующей матрицей :
X= x
...
x
1
N
,                                                                             (1)
P( x ) ... P( x
1
N )
где   X ,
        - элементарные сообщения,
i
    P( x
 .
i ) - дискретные вероятности появления  xi
Получая  сообщение  ,  будем  предполагать,  что  оно    содержит  некоторое
K
количество  информации  I( xK ) ,  интуитивно        связывая  ее  с  соответствующей
вероятностью появления
I( x ) I[P( x
.                                                                                      (2)
K
K )]
Мера (2) по Шеннону должна обладать тремя аксиоматическими  свойствами :
1) Свойство положительности
I x
(
) > ,
0
P x
(
) ∈( ,)
01 ;
     
K
K
I x
(
) = ,
0
P x
(
) = .
1
K
K
 2) Свойство монотонности .
     I x
(
) > I x
(
), при  P x
(
) > P x
(
)
k
j
j
k
3)  Свойство аддитивности
N
          I(...) =
I()

.                                                                    (3)
1
N
k
=1
Эти аксиомы позволяют определить меру информации как величину
              I x
(
) = − log P x
(
).                                                                       (4)
k
a
k
Доказательство .
  Пусть N=2,  P() = P() = , , тогда дифференцируя (3) по   , получим
1
1
2
2
1
               p I/ p p
= I/
(
)
p
(
)                                                                         (5)
2
1
2
1
Умножая (5) на   и вводя обозначение   p p  , имеем
1
1 2
pI/ p = p I/
( )
p
( )
                
1
1
                                                                           (6)
0 ≤ p ≤ P
1
1 ≤
Так  как  неравенство  из (6) справедливо  для  любых  значений        и        ,то,
1
2
следовательно, правая часть не зависит от   и   , и является  константой, т.е.
1
2
                I/ p
( ) = C / p .                                                                                 (7)
1
Проинтегрировав (7) получим
              I p) = ln .                                                                                  (8)
1
2
По свойству 1 (т.е. Ip=1)=0)  имеем  C2 =0, а с учетом  положительности    меры (2):
               p) = −ln p,                                                                                          (9)
где M>0 - масштабный множитель.
 Пусть M=log 2 e, следовательно
                p) = − log p,                                                                                         (10)
2
 откуда в силу аддитивности


7
2
               I( p)=-
log P()

 ,                                                                        (11)
a
k
=1
что и требовалось доказать.
Принимая в (1) P(xk )=1/N, получим
                I(xk )= log .
a
 Таким  образом,  комбинаторная  мера  Хартли  является  частным    случаем
введенной меры (4) при P(xk)=1/N.
1.2 Частная взаимная информация дискретных источников  сообщений.
Введем  в  рассмотрение  следующую  модель  процесса  преобразования    информации
дискретной системой (средой) Р
Здесь источник информации X и среда Р описываются матрицами
x
...
x
X=
1
N
,                                                                              (1)
P() ... P()
1
N
P) ...
P)
1
1
M
1
P=
...
...
...
.                                                                 (2)
P) ... P)
1
N
M
N
Причем
P( x ) P( y / x )
P( x / y
k
j
k
.                                                                       (3)
k
j ) N
P( x ) P( y / x
∑ k
j
k )
=1
Мера информации на входе системы равна
              I(xk )=-log2 P(xk )
В  процессе  преобразования  сообщений  системой  происходит  потеря
информации, т.к. система не идеальна (иначе P=E). В результате  потери информации
определяются величиной
              I(xk /yj )=-log2 P(xk /yj ).                                                                             (4)
Тогда  количество  информации  на  выходе  системы  определяется  мерой    частной
взаимной информации
               I(xk ;yj )= I(xk )- I(xk /yj ).                                                                         (5)
Количество  информации,  поступающей  на  вход P, определяется    собственным
количеством  информации  источника . Эта  величина    характеризует  первоначальную
неопределенность  выбора  сообщений    источника  в  информационном  смысле.  В
результате  процесса  передачи    сообщений X по  системе P, оставшаяся
неопределенность  источника  при    определении  конкретного  сообщения  на  выходе


8
системы определяется  частной взаимной информацией (5). Для того, чтобы убедиться
в    справедливости (5) воспользуемся  двумя  аксиоматическими    свойствами,
введенными Шенноном:
1. I(xk ; yj ) ≡ 0, если между множествами X и Y отсутствует   статистическая связь.
2. I(xk ; yj )=I(xk ), если  между X и Y существует  жесткая    функциональная
(детерминированная) связь вида X=F(Y).
Откуда  частная  взаимная  информация  дискретного  источника  сообщений
согласно (4) и (5) имеет вид
P()
                I(y
k
j
) = log
  .                                                                    (6)
k
j
P()
k
Свойства меры частной взаимной информации:
1.  симметричность
      () = I)
k
j
j
k
    Доказательство:
P(P)
P)
      I(y
k
j
j
j
k
) = log
= log
k
j
P()
P)
P)
k
j
j
 2. ограниченность
       − ∞ ≤ I() ≤ I()
k
j
k
Доказательство следует из свойства монотонности функции логарифма в (6).
3.  аддитивность
    I(xk ;yj/zi )= I(xk ;yj )+ I(xk ;zi /yj )
Доказательство:
P(y z P()
(y z ) = log
k
j i
;
k
j
I(x
 
=
, y ) I(x
 
+
, z /y ).
k
j i
P()
P()
k
j
k
i
j
k
k
j
В  заключении  отметим,  что  введенные  выше  характеристики  являются
случайными. 
Поэтому 
представляют 
интерес 
определения 
моментных
информационных  характеристик,  характеризующих  в  среднем  как  источник
информации так и систему, которая преобразует информационные  сообщения.
1.3 Энтропия дискретных источников.
Определим среднее количество информации, содержащееся в одном  сообщении
источника X, которое называется энтропией источника X в виде.
 H(X)=Mx [I(x)]= 
P(x)I(x)

= − P(x)log P(x)

.                                (1)
i
x
Энтропия  (1)  определяет  меру  неопределенности  источника X,  связывая  ее  со
средним  количеством  информации,  содержащимся  в    одном  сообщении  этого
источника.

9
Основные свойства меры (1) :
1. Положительность
    H(X) ≥ 0, причем H(X)=0 , если вероятность одного из сообщений равна 1.
2.  Ограниченность сверху
    H(X) ≤ H0 (X)=log N,  где N = |X|.
 Действительно, составляя разность и используя   ln ≤ − 1, получим
1
 1

H X
( )− H
X
( )
1
0.
0
=
P x
( )log


P x
( )

− loge
P x
(
N
)
P x
(
N
)





x
x
При этом равенство достигается при Р(х)= 1/N.
 Доказательство  этого  свойства  может  быть  сформулировано  более    строго
используя  процедуру  поиска  условного  экстремума  (1)  методом    неопределенных
множителей Лагранжа.
Пример. Дискретный источник X описывается матрицей
x
x
... x
X
N
= 1
2
P
P
... P
1
2
N
Определить,  при  каких  значениях  Pk (k=1,N )  энтропия H(X) максимальна  и  равна
Hmax=H0(X)=log N.
Указание : использовать  свойства  энтропии , а  также  метод  неопределенных
множителей Лагранжа (поиск условного экстремума ).
Решение:
N
H(X) = − p log p
∑ i
i
i=1
Составим вспомогательный функционал :
N
N
f(X) = H(X) + λF(X) = − p logp

+ λ( p
∑ − )1
i
i
i
i =1
i =1
 ∂f =

0
∂pi

 ∂f = 0

∂λ
∂f = 0 ⇒ −(logp +1) + = 0     λ −1− logp    для всех i
i = 0
i
λ
∂pi
N
N
1
eλ−1 = p  ,   eλ−1 = p =1,   Neλ−1 =1,  eλ−1 =
i

∑ i
i =1
i =1
N
1
1
λ − 1= log  ,     logp = log   ;
N
i
N
N
N
1
1
1
N
1
p =
H(X) = − p log p

= −∑ log = − log = logN
i
N
i
i
i=1
i=1 N
N
N
N
Пример.
Определить энтропию источника вида
x
x
            = 1
2
1 − p
Построить график энтропии функции Р.




10
Решение:
H(X)=-[plogp+(1-p)log(1-p)]
1.4 Условная энтропия и энтропия объединенного источника
дискретных сообщений.
    В  разделе  1.2  была  введена  модель  процесса  представления    дискретной
информации вида
где I(x;y)=I(x)-I(x/y).
Необходимость  определения  среднего  количества  информации,  теряемого  в
системе P, приводит к введению понятия условной  энтропии вида
H(X/Y)=Mxy [I(x/y)]=  − ∑ P(x)Px)log P(y)
xy
Выражение  (1)  характеризует  среднее  количество  информации,  теряющейся  в
системе при транспорации одного сообщения источника Х.
Характеристика условной энтропии обладает рядом  свойств :
1.H(X/Y) ≥ 0,положительная  величина  как    математическое  ожидание  положительной
величины I(x/y).
 H(X/Y)=0,  когда  нет  потерь  в  системе,  т.е.  все  что  поступает    на  вход  полностью
трансформируется на выход, а матрица носит  единичный характер.
2. Ограниченность сверху H(X/Y)  ≤  H(X).
Физический  смысл : наличие  статистической  зависимости  приводит  к    уменьшению
информационного объема источника.
Модифицировав модель к виду
введем понятие энтропии объединенного источника


11
       H(YZ)= - 
P z
( y)log P z
( y)

.                                               (2)
Y Z
Свойства :
1. H(YZ)  ≥ 0
2.Аддитивность
   H(YZ)=H(Y)+H(Z/Y)=H(Z)+H(Y/Z)
3.Ограниченность сверху
   H(YZ) ≤ H(Y)+H(Z)
1.5 Средняя взаимная информация дискретных источников сообщений.
P(y)
       IX;) = M
( ; ) =
( ) ( / )log

                                (1)
xy I x y ]
P x P y x
( )
xy
P x
Формула  (1)  определяет  среднее  количество  информации,  содержащейся  в
выходном сообщении относительно входного.
Свойства :
1.Симметричность
   I(X;Y)=I(Y;X)
2.I(X;Y)=H(X)-H(X/Y)=H(Y) - H(Y/X)
3.I(X;Y)  ≥ 0
4.Ограниченность сверху
   I(X;Y)  ≤ H(X)  или  I(X;Y)  ≤ H(Y)
5.Аддитивность
   I(X;YZ)=I(X;Y)+I(X;Z/Y)
Графическая интерпретация свойств 1-4 представлена в виде диаграммы Венна :
1.6 Собственная информация и энтропия непрерывных источников
сообщений.
Для  определения  меры  информации  непрерывных  источников    сообщений,
представим  их  как  предельный  случай  дискретного    источника,  описываемого
матрицей
x
...
x
       X
1
N
ε=
                                                                      (1)
W
x
(
) x

... W
x
(
) x

x
1
x
N
где  ∆= ε,


12
I( x) = − logW ( x ) x
x

        H( X )
                                                                                (2)
ε = −
W ( x ) x
∆ logW ( x)x
∑ x
x
x


ε
ε→0
      H X
(
) = − W
x
( )log W
x
(
d
) x − log                                                             (3)
ε
ε
∫ x
x
x
Относительная информационная характеристика
H( X ) = − W ( x ) logW ( x )dx
x
x

                                                                                                 (4)
x
называется дифференциальной энтропией непрерывных источников сообщений.
Физический  смысл : среднее  количество  информации,  определяемое
относительно  шкалы  измерения,  начало  которой  в  точке    +∞ ,  характеризует
информационное содержание закона распределения (ЗР).
Свойства дифференциальной энтропии :
 1.Если m является неслучайной величиной, то
    H(X+m)=H(X)
2.  Дифференциальная энтропия не ограничена снизу.
3.  Значение дифференциальной энтропиии зависит от масштаба  измерения
H(kX)=H(X)+log |k|
1
W
Y
( ) =
W
y
( / k)
Y
k
X
y
1
y
( )
x
H Y
( ) = H(kX ) = − (y)log(y)dy = −
W
k
( ) log
dy =
y
y

k
x
∫ k
k
y
y
k
k
= −
(x) log(x)dx +
log H) + log .
k
x
x

k
x
4. Если источник X имеет Гауссовское распределение
2
2
0 5
 
           (x) (2πσ )− .
=
exp−
,
x
x
2 
 2σ
где  σ  - средняя мощность источника (дисперсия), то   дифференциальная энтропия
x
имеет вид
H) = .
0 5log2 2
π σ .
x
Доказательство:

∞ 
 x2 

H) = − (x) log
dx
2 0 5
+


1
2πσ
∫  2 loge W
 (x)dx =
x
.
x
(
)

−∞
−∞ 

x
x


= .
0 5log 2
2
πσ + .
0 5log = .
0 5log 2π2
σ
x
x
5. Если  произвольный  источник X и  нормальный  источник  Xn  обладают    одинаковой
средней мощностью σ  , то всегда имеет место следующее  неравенство  H(X)
x
≤ H(Xn).
Доказательство:
Очевидно, что в случае указанного ограничения справедлива  следующая система

13
 ∞

(x)dx

(x)dx = 1
x
n



          −∞
−∞
                                                                  (5)
 ∞

0 2
0 2
x W (x)dx x W (x d
= 2
σ
x
n
x



−∞
−∞
Откуда следует, что

H) = − (x)log(x)dx
n
x
n

 .                                                                      (6)
−∞
Используя известное неравенство, составим разность

(x)

(x)

H) − H) = (x
n
) log
dx 
(x
n
)

1 ∫

− 1 dx 0                  (7)
n
x
(x)
lna
x
(x)
 =
x
−∞
−∞
 x

Выражение (7) обращается в равенство когда Wn (x)= Wx (x) .
Более  глубокие  свойства  введенной  меры  рассмотрим  с  позиции  теории
вариационного  анализа.  Согласно  теории  вариационного  исчисления  задача  поиска
экстремальных  распределений  плотностей  вероятностей  (ПВ)  заключается  в
следующем :
 пусть дан функционал вида:
b
              fdx
∫ ,                                                                                               (8)
a
где a , b могут быть как конечными, так и бесконечными.
Пусть f есть функция вида f=f [x,Wx (x),W/x (x)] .
При этом имеются дополнительные ограничения вида
 , ( ), /( )
i
i[x W x W x
x
x
]

              b

                                                                        (9)
f dx

,= ,
q
i
i
∫a
где li -некоторые постоянные величины.
Требуется  определить  оптимальную  функцию    W *  , обращающую (8) в
x
экстремум. Для решения указанной задачи составляется вспомогательный  функционал
b
q
b


                F*
f
λ f dx
*
= ∫  +
dx

                                                         (10)
i i 
= ∫
a
i

=1

a
где  λ  - неопределенные множители Лагранжа.
i
Известно, что необходимое условие экстремума, которому должна удовлетворять
искомая функция W *  ,определяется уравнением Эйлера.
 ∂* 
f
∂ *
            dx  W
 −
= 0                                                                     (11)
∂
(x)
W
 ∂
(x)
x
x
Т.о.  искомая  функция  является  решением  уравнения  (11),  содержащим
произвольные  λ .  Для  определения 
    используются  условия (9),  которые  затем
i
λi
подставляются  в  решение  уравнения  (11),  в  результате    чего  определяется
экстремальная ПВ. Для нашей задачи функционал  (8) и ограничения fi из (9) имеют вид

          H) = − (x)ln(x)dx                                                              (12)
x
x
∫−∞


14
 W
− (x)ln(x)
x
x

           f
1
                                                                                (13)
1 = ), /
1 =
x
 f
2
2
σ
2 = x W ), /2 =

x
x
Составляется  функционал  F*  на  основе  f*  и  с  учетом  того,  что  f*  является  функцией
двух переменных f* (x,Wx(x)). Тогда уравнение  (11) примет вид
df *
           
= 0                                                                              (14)
dW (x)
x
*
=
x
x
x
)
откуда
             ln
*
(x) = −1+
2
λ λ
1 +
x
x
2
 Следовательно,        * (x)= exp {-1+ λ
2
 }                                          (15)
1
λ
x
2
Подставляя (15) в условие (9), принимающее конкретный вид (5), определим
 ∞
 exp{−1+
2
λ λ x
1 +
}
2
=

1

            −∞
                                                                  (16)
 ∞ 2
exp{−1+
2
2
λ λ x
σ
1 +
}
2
=

x

−∞
Откуда с учетом известных интегралов вероятности имеем


1

λ = 1+ ln

1

 πσ
2

           
                                                                                    (17)

1
λ = −
2

σ
2

x
 2 
            x
2 − .
( ) = (2πσ ) 0 5 exp−
                                                                (18)
x
x
2 
 2σ
В случае, когда ограничение, на среднюю мощность из (5) отсутствует  λ ≡ 0  , то
2
            * (x)=exp{-1+ λ  }=const.
x
1
Это  означает,  что  оптимальное  распределение  является  равномерным,  при    котором
имеет место только ограничение на вариацию значений x.
1.7 Средняя взаимная информация непрерывных источников сообщений.
Для  определения  меры  информации  конкретизируем  вид    преобразования P.
Наиболее универсальной классической моделью преобразования является модель вида


15
где n - шум измерения;
     y - результат измерения.
Причем

              y) = (x W
)
x)dx
y
x
n

.                                                                 (1)
−∞
Если принять естественные условия о статистической независимости множеств X
и N, то
              x) = − x) = (n) .                                                                (2)
n
n
n
В  этом  случае  (1)  имеет  классический  вид  интеграла  свертки.  Т.о.  средняя
взаимная информация между X и Y определяется в виде
W
x)
          (X Y
; ) = W
x W
)
(x
/X
) log
dxdy
/X
X
∫∫
=
y)
X Y
Y
=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)                     (3)
 Нетрудно  заключить,  что  мера  информации (3) является  абсолютной,  а  не
дифференциальной  характеристикой,  описывающей    информационное  содержание
связей  источников X и Y. В  этой  связи    мера  информации (3) обладает  следующими
основными свойствами :
1. Симметрия
I(X;Y)=I(Y;X)
2.   I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)
3. Положительность
I(X;Y) ≥ 0
4. Аддитивность
I(X;YZ)=I(X;Y)+I(X;Z/Y)
Здесь  нет  свойства  ограниченности  сверху.  Рассмотрим  практически  важный
случай,  когда  Wx(x)  и  Wn(n)  являются  гауссовскими  распределениями  с  дисперсией
σ2 и  σ2 . На основании (2) сделаем предположение о статистической  независимости x
x
n
и n, тогда величина (3) будет равна

2
σ 
         
x
I X
(
Y
; ) = ,
0 5 ⋅ log1 +
,                                                                       (4)
2 

σ 
n
В  этом  случае  удобно  представить (5) через  нормированный    коэффициент
корреляции между множествами X и Y вида
xy
x(n)
σ
     r
x
=
=
=
 ,                                                          (5)
XY
σ σ
σ σ
2
2
x
y
x
y
σ + σ
x
N
После преобразования (5) на основании (6), получим
1
            (X Y
; ) = ,
0 5 ⋅ log (
 ,                                                                       (6)
1− r2XY )


16
1.8 Определение эпсилон-энтропиии непрерывных источников
сообщений.
И - источник сообщений;
К - квантователь, который осуществляет преобразование непрерывной случайной
величины x в ее дискретный (квантованный) аналог y с мерой  верности J[ρ(x,y)].
Минимальное  среднее  количество  информации,  которым  можно  закодировать
источник X, равное
           () =
min
(X Y
; )  ,                                                     (1)
ε
Φ(ε)={(y) :[ρ(x,y)]≤ε}
называется  ε-энтропией  источника X. При  измерении  непрерывных  сообщений
источника X возникает  погрешность  представления  ε.  Величина Y является
результатом  измерения,  осуществляемого  в  процессе  квантования    исходного
сообщения X. Под точностью (погрешностью измерения ε) понимается некоторая мера
верности  (функционал) J[ρ(x,y)] ≤ ε,  связанная  с  понятием  расстояния  между x и y.
Тогда  представляет  интерес  задача  определения  минимального  объема  информации  с
помощью    которого  измеряемый  объект  (источник  информации)  может  быть
представлен его цифровым эквивалентом Y с погрешностью, не превышающей ε. Это
означает,  что  минимум  будет  достигаться  на  границе  оболочки    размером  ε.  Тогда
задача поиска минимума сводится к следующему:
Выбирается способ представления так, чтобы процесс описывался  минимальным
количеством  информации  (1).  При  этом  очевидно,  что  в  силу    симметрии I(X;Y)
следует, что Hε(X)=Hε(Y).
Рассмотрим  частное  определение  ε-энтропии  непрерывных  источников  в
среднеквадратической  и  равномерной  метриках.  Очевидно,  что  в  первом    случае
величина будет определяться:
[Jρ x
(
y
,
]) = W x
(
W
)
y
( / x
=
∫∫
/
ρ
) x
(
y
,
dxd
)
y
X
y x
          
X Y
                                                (2)
=
W
x
(
W
)
y
( / x) y
( − x) dxdy.
∫∫
2
X
y/ x
X Y
Тогда с учетом (1) можно записать :
) = H) −
max
HY) ≤ H) −
max
H)
ε
=
(ε )={W
y): j

Φ
2
2
/Y
≤ε}
Φ′(ε )={(n):n
n
≤ε }
   (3)
H) − ,
0 5⋅ log π
eε2.
Очевидно,  в  качестве  дополнительного  условия  имеет  место  ограничение  вида
σ 2
x ≥ε2Аналогично, 
для 
оценки 
ε-энтропии 
в 
равномерной 
метрике
I[ρ(xy)] = sup − , последняя величина определяется в виде
y
Hε(X)=H(X) - log2ε ,                                                                         (4)
где log2ε-  максимальная  дифференциальная  энтропия  шума  квантования,  которой
обладает  источник  с  равномерным  распределением.  При  этом  ε-энтропии  являются
строго положительными величинами.
 ПРИМЕР 1. Определить ε-энтропию источника Х с расширением в метриках :

17
(
 a)−
2
1, ∈[−a,a]
(x) =
X
 ,0x

∉[−a,a]
а) среднеквадратической ; б) равномерной.
Решение.
à)
2
2
σ
12
H
X
( ) = log a
2 − ,
0 5 ⋅ log 2 ⋅ e
X
ε
π
⋅ ε = ,
0 5 log
2
=
π
2 ⋅ e ⋅ ε
2
2
ε
 
 , где 
.

δ =
σ
6 2


6

σ2
X
= ,
0 5 ⋅ log m ax1
X
2  = 0 5 ⋅
1
2 
 π
,
,
log m ax ,
⋅ e⋅ ε 
 π ⋅ e⋅ δ 
 a
б)  () = logmax ,1
ε

 ε 
ПРИМЕР2.  Определить  в  среднеквадратической  метрике  ε-энтропию  источника  с
гауссовским распределением и дисперсией σ 2
x .
 σ 
  (X
X
) = logmax ,1
ε

 ε 

18
Глава 2. Кодирование источников сообщений.
2.1 Информационные модели дискретных источников сообщений и их
свойства.
Имеется источник X, сообщения которого образуют последоватеьность
{x()1 x(I })
...
∈X I;  x(i) X (i)

;  x(i) = N
Тогда указанная последовательность может быть описана условной вероятностью
вида P(x(I) / x(I-1) ...x(1) ).
При этом существует два определения:
1)источник X обладает памятью порядка (I-1),если имеет место  следующее равенство
     P(x(I)/x(I-1)…x(1)…)=P(x(I)/x(I-1)…x(1))=P(x(I)/xI-1)
2)Источник X является стационарным, если
     P(x(I)/x(I-1)…x(1)…)=P(x(I+L)/x(I+L-1)…x(L+1))
 для любого L ∈(−∞, ∞) .
В  соответствии  с  введенными  определениями  собственное  количество
информации,  содержащееся  в  сообщении  стационарного  источника  с  памятью (k-1)
порядка, описывается величиной
        I(x/xк-1 )=- log P(x/xк-1 )                                                                       (1)
Тогда  среднее  количество  информации,  содержащееся  в  одном  сообщении,
описывается энтропией k-го порядка
         H
X
( ) = M I
[ x
( / xk−1)]= −
P xk
(
)log P x
( / xk−1)

                          (2)
k
X k
Справедливы следующие свойства энтропии :
1)  Если  сообщения  являются  статистически  независимыми  (отсутствует    память),  то
источник описывается безусловной энтропией
                Hк(X)=H1(X)=H(X).
2)  При  возрастании  порядка  памяти  источника  функция (2) является  невозрастающей
функцией его памяти
                log N=H0(X)>=H1(X)>=...>=Hк(X)>=...,
где N - мощность источника X.
Отсюда следует, что источники с памятью обладают информационной  избыточностью
вследствии наличия связи или неравномерности распределения вероятностей.
Для  определения  количественной  меры  информационнной    избыточности
Шенноном введен коэффициент информационной  избыточности

)
)
R X
k
k
( )

= 1−
= 1−
      
)
log N

0
                                                          (3)
R) [
∈ ,
0 ]


1
Величина (3) отлична от нуля ,если :
 1) источник Х обладает памятью (к-1>0);
 2) статистика источника Х носит неравномерный характер.
ПРИМЕР.  Определить  энтропию  и  избыточность  стационарного  источника X с
памятью первого порядка, заданную следующим графом



19
где x1 ,x2 двоичные сообщения,
Здесь p- условные переходные вероятности.
Из формулы полной вероятности  при P(x1)=1-P(x2)  →  P(x1)=P(x2)=0.5
Откуда H2(x)=-[p log p +(1-p)log(1-p)].
R(x)=1+[p log p +(1-p)log(1-p)]
             
2.2 
Общие принципы и основная теорема кодирования
дискретных источников сообщений.
Имеется источник без памяти вида
x
...
x
             X=
1
N
                                                                           (1)
P() ... P()
1
N
Под  кодированием  сообщений  источника  (1)  будем  понимать    установление
однозначного взаимного соответствия сообщения
              x ↔ y = y
{
} i
: j
, =
n
,
1
j
i
ij
i
и  некоторой  кодовой  последовательности  ,,  элементы  которой  yij  принадлежат
некоторому кодовому множествуY. При этом длина этой  кодовой последовательности
равна ni , причем
                y
jj

)
,
;
ij
Возможно кодирование двух типов :
1)равномерное кодирование
ni =n=const
2)неравномерное кодирование ni =var
Рассмотрим возможные способы кодирования.
Пусть имеется источник вида

20
x
x
x
x
x
x
x
x
=
1
2
3
4
5
6
7
8
1 / 4 1 / 4 1 / 8 1 / 8 1 /16 1 /16 1 /16 1 /16
Здесь M=2- объем кодового множества.
Гипотетически определим эти типы кодирования условиями
1) n=  - ближайшее целое снизу, для которого выполняется  неравенство:
               
≥ N
2)  = I() .
i

 Реализация  :
1)
x
2)
i
P(xi)
I(xi)
yi
yi
x1
1/4
2
000
00
x2
1/4
2
001
01
x3
1/8
3
010
100
x4
1/8
3
011
101
x5
1/16
4
100
1100
x6
1/16
4
101
1101
x7
1/16
4
110
1110
x8
1/16
4
111
1111
Средняя длина кодового слова равна
8
3
 бит сообщнние вид1
               =
n p

[
/
](
)
=
                                         (2)
1
i
i
2,75[
](
2)
1
бит сообщение вид
=

При этом существуют верхняя и нижняя границы эффективности  кодирования
сообщений дискретного источника, которые могут быть  определены в виде следующей
теоремы.
2.3 Теорема о средней длине кодового слова
При  заданном  ансамбле  дискретных  источников  сообщений X без  памяти,
обладающих мощностью N и энтропией H(X), можно так  закодировать его сообщения
с  помощью  множества  кодовых    символовY,  мощностью M < N, что  средннеe
количество  кодовых    символов   , приходящихся  на  одно  сообщение  источника X,
1
будет удовлетворять неравенствам:
()
()
              
≤ n
1                                                                          (3)
1 <
+
log M
log M
Доказательство.
Так как кодирование сообщений должно осуществляться без потерь  информации,
то должно выполняться неравенство :
n/k
() =
)

                                                                                          (4)
k
ki
i=1
Так как максимальная энтропия кодового символа достигает величины
max
(i)
H Y
=
M
i)
(
) log
y
только в случае, когда I(yki) = log M .
В этом случае можно так выбрать ближайшее целое сверху число nк , что
 I(xк ) < nк logM.                                                                                          (5)
Откуда следует
(nк -1)log M <= I(xк ) < nк logM                                                                  (6)

21
Преобразуем (6) относительно nк к виду
()
()
 
k
≤ n
k
<
+1 .                                                                                (7)
log M
k
log M
Усредняя все части неравенства (7) по множеству X получим :
()
()
≤ n
1 ,                                                                                  (8)
1 <
+
log M
log M
что соответствует начальной формулировке Теоремы.
Определим избыточность кода в виде
H Y
( )
H Y
( )
           = 1−
= 1−
.                                                                            (9)
y
H Y
( )
log M
0
С учетом уравнения информационного баланса (4) имеет место равенство
           H(X)=  H(Y)                                                                                                (10)
i
откуда информационная избыточность кода определяется в виде :
()
            = 1−
.                                                                                           (11)
y
log M
1
Чем меньше    или  чем  больше  энтропия  кодового  символа,  тем  ниже  избыточность
1
кодового  представления  источника,  а  это    достигается  лишь  в  том  случае,  если
распределение вероятности  кодовых символов yki близко к равномерному.
Рассмотрим  избыточность  кодов  в  ранее  приведенном  примере.  Определим
избыточность источника :
()
                = 1−
≅ 10%
x
log N
 Для равномерного кодирования
()
                R
= 1−
≅ 10%
yPA BH
3log M
Для неравномерного кодирования
()
                R
= 1−
= 0%
yНЕРА ВН
2.75log M
2.4 Методы эффективного обратимого кодирования дискретных
источников сообщений: коды Шеннона-Фано и Хаффмена.   
На  основании  основной  теоремы  кодирования  сформулируем  два  метода
оптимального  кодирования,  которые  получили  названия  методов    Шеннона-Фано  и
Хаффмена.
МЕТОД ШЕННОНА-ФАНО
 Рассмотрим  двоичное  кодирование,  т.е.  когда  мощность  кодового    алфавита
равна двум. Метод Шеннона-Фано состоит из следующих операций.
1.Ранжируем сообщения в порядке убывания вероятностей.
2.Разбиваем  множество  сообщений  на  два  подмножества  по  возможности  с
равными вероятностями, которые кодируются нулем и единицей.
3.Полученные  подмножества  разбиваются  автономно  по  указанному  в  п.2
принципу  до  тех  пор,  пока  каждое  из  подмножеств  не  будет  состоять  из    одного
сообщения.


22
Результатом таких процедур будет являтся последовательность кодов  переменной
длины, соответствующих каждому из кодируемых сообщений.
ПРИМЕР.
Xi
P(xi)
yi1
yi2
yi3
yi4
x1
1/4
0
0
-
-
x2
1/4
0
1
-
-
x3
1/8
1
0
0
-
x4
1/8
1
0
1
-
x5
1/16
1
1
0
0
x6
1/16
1
1
0
1
x7
1/16
1
1
1
0
x8
1/16
1
1
1
1
 МЕТОД ХАФФМЕНА
1.Сообщения источника ранжируются в порядке убывания вероятностей.
2.Группируются  два  сообщения  и  вычисляется  их  суммарная    вероятность.  При
этом два сообщения объединяются в одно.
3.(N-1) сообщения ранжируются в порядке убывания вероятностей и  повторяется
циклически  п.2.Процесс  продолжается  до  тех  пор,  пока    суммарная  вероятность  не
станет  равна  единице.  Результатом  указанных  процедур  является  двоичное  кодовое
дерево, ветви которого кодируются нулем и единицей, а кодовая  последовательность
каждого сообщения образуется в результате движения  от основания дерева к вершине .
ПРИМЕР
2.5 Лемма эффективного кода дискретных источников сообщений.
В  оптимальном  неравномерном  коде  кодовое  слово,  соответствующее
наименьшему  сообщению  имеет  наибольшую  длину.  Пусть  ni  -длина  кодового  слова
сообщения xi , а P(xi),будем предполагать строго упорядоченными так, что

23
P(x1)>= P(x2)>=...>= P(xi)>=...>= P(xN) ,
следовательно
N
=
P x n
∑ ( ) .
1
i
i
1
=
Допустим, что в оптимальном коде для i<N существует ni >nN, тогда рассмотрим
новый код, в котором i и N кодовое слово исходного кода  заменены  одно  другим.  В
этом случае средняя длина кодового слова
n/ = − n P() − n P() + n P() + n P() =
1
1
i
i
N
N
i
N
N
i
− (− ) (P() − P() ) < ,
1
i
N
i
N
1
что противоречит утверждению об оптимальности исходного кода.
Т.е.
≤ ≤...≤ ≤... ≤ n
1
2
i
k

.
P(x

) ≥ P() ≥... ≥ P() ≥... ≥ P()
1
2
i
N
2.6 Предельная условная энтропия дискретных источников сообщений.
В  ряде  ситуаций  источник  дискретных  сообщений  обладает  ограниченной
памятью.  Возникает  проблема  определения  среднего    количества  информации,
содержащейся в одном сообщении. Поскольку  условная энтропия Hx(X) источника X
является положительной  невозрастающей функцией памяти k-1 порядка, то существует
предел,  называемый условной предельной энтропией источника сообщений
H
X
( )
lim H
X

=
( ),                                                                            (1)
k
k→∞
величина (1) интерпритируется как среднее количество информации,  содержащееся в
одном сообщении блока сообщений бесконечной длины, т.е.
1
H
X
( )
lim H X
( )
lim
H X k

=
=
(
),                                                       (2)
k→∞
k→∞
k
где
k
(X k )
((i)
=
X i− )

1 .                                                                        (3)
i=1
ДОКАЗАТЕЛЬСТВО.
Сделав обозначения Hk(X)=(1/k)H(Xk), получим:
k
1
()
((i)
=
X i−1)

.                                                                     (4)
k
k i=1
Т.к.  условная  энтропия (4) является  невозрастающей  функцией  от k, то  существует
предел (4) при k → ∞  .
Пусть при k>i≥N, H(X(N)/XN-1 )=const.
Тогда (4) можно представить в виде

1 1
k
−1
− N
H X
H X (iX i
H X ()
= ∑
+
X N
( )
(
/
)
(
/
−1)     ,
k
k i 1
k
=
что в пределе приведет к
H
X
( )
lim H
X

=
( ) .                                                                              (5)
N
k→∞
Таким  образом  введенное  формальное  значение (4) совпадает  с  условной    энтропией.
При этом   ((()                                                                   (6)



N
0

24
2.7 Теорема о кодировании статистически зависимых сообщений
дискретного источника
ТЕОРЕМА  При  любом,  сколь  угодно  малом  ε>0  последовательность
статистически  зависимых  сообщений  источника X мощности N может    быть
закодировано  с  помощью  кодового  ансамбля  =M< N так,  что    средняя  длина
кодового слова приходящаяся на сообщение X будет  лежать в пределах
()
()

n


ε                                                                             (1)
1 <
+
log M
log M
Разобьем  последовательность  сообщений  источника X на  блок    состояний  из  L
сообщений, при этом на основании предыдущей  теоремы ( о средней длине кодового
слова ) при большем L будет  иметь место неравенство :
H X L
(X L
(
)
)
≤ <
+1                                                                            (2)
log M
L
log M
 Обозначим
H X L
(X L
(
)
)
1
 
≤ n
                                                                        (3)
1 <
+
log M
log M
L
при  → ∞  получим (1).
2.8 Информативность непрерывных источников сообщений
дискретного  времени.
Непрерывные сообщения дискретного времени могут быть описаны  многомерной
плотностью вероятностей вида
Wx(xn tn /xn tn ...x1 t1 ).
Для  стационарной  последовательности,  порождаемой  источником  с    конечной
памятью (n-1)  порядка,  дифференциальная  энтропия,  описывающая    относительные
информационные характеристики последовательности сообщений, будет определяться
()
(( )... (n) ) log((n) / ()... ( ) )dx ( )... dx (n)
= −

n
x
x

1
1
1
1
               (1)
x n
При этом взаимная информация между отдельными сообщениями будет  равна
((2), ( )1 ) = () − () .                                                                     (2)
1
2
        Эта характеристика является абсолютной.
При  исследовании  предельных  информационных  характеристик  с  целью
проведения  системного  анализа  информационных  процессов,  основной    моделью
является  Гаусс-Марковская  модель ( источник  с  Гауссовским    распределением,
обладающий конечной памятью (n-1) порядка), которая  представляется в виде
(x) = (x( )1...x(n)) = (2π Bn n
) /2 *
x
x
x
n
n


1

                                                 (3)
exp−
Bx (x(i)
∑∑
− )(xj) − )
Bn
ij
x
x
x i =1 j


=1


где B n  - определитель корреляционной матрицы источника X размерности nxn;
x
mx - математическое ожидание;
Bij - минор элемента ij определителя корреляционной матрицы.

25
Нетрудно  определить,  что  энтропия  Гауссовского  источника  с  памятью    (n-1)
порядка определяется выражением

K n 
() = .
0 5log2πe
x
2
σ
                                                                         (4)
n
x

K x

11 
где  K n −  определитель нормированной корреляционной матрицы;
x
K11 - минор элемента 11 нормированной корреляционной матрицы.
Дифференциальная энтропия последовательности длиной n будет
n
1
H X H X n =
+
B n
( )
(
)
log
log
                                                          (5)
x
2
2
ПРИМЕР 1
 Определить  информативность  одного  или  пары  сообщений,  а  также  среднюю
взаимную  информацию  сообщений  стационарного  Гауссовского    источника  с
единичной  памятью,  если  известна  средняя  мощность  σ 2   и  коэффициент
x
автокорреляции r.
r
det(2) =
= (1− r2)
x
1
Т.к. K11 =1 соответствующие информационные  характеристики имеют вид :
1)  () = . log π2
σ ( − r2
0 5
2
1
) ;
2
x
2
2
1
σ
σ r
1
2)  (2) = log πe
x
x
+ logdet
= log2π2
σ + log(1− r2
2
) ;
2
2
σ r
2
x
σ
2
x
x
1
3)  ((2), ( )1 ) = .
0 5log (1− r2)
ПРИМЕР 2
Определить взаимную информацию между двумя Гауссовскими векторами
X
( )1 (n
= {
...
) } и  Y
( )1 (n
= {
...
) }
с корреляционными матрицами    ,если  ,где  Z
( )1 (n
= {
...
) },а   его
y
x
z
корреляционная матрица имеет ненулевой детерминант,причем   и   статистически
независимы.
(,) = H Y
( ) − H Y
( / ) = H Y
( ) − H Y
( − ) = H Y
( ) − ()
При этом очевидно   .
y
x
z
1
det()
(,Y
x
z
) = log
.
2
det Bz
Замечание.Т.к.  в  общем  случае  координаты  векторов  коррелированны,  то
последнюю  задачу можно свести к задаче с некоррелированными координатами путем
ортогонального  преобразования  случайного  вектора.  Эта  задача  решается  путем
нахождения  собственных  чисел  и  собственных  векторов  корреляционных  матриц
векторов, так для   его ортогональный образ   определяется уравнением

26
q1
.
* , где Q=
-матрица  собственных  векторов  корреляционной
.
qn
матрицы( ), удовлетворяющих условию нормировки
x
q
 qT

= 1
i i

,
i

 = 1, n
обеспечивающем равенство  H(R) = H).
 Причем матрица Q должна удовлетворять равенству
 QB QT = Λ,
x
где  Λ -  диагональная  матрица,  состоящая  из  собственных  чисел    корреляционной
матрицы   .
x
  При этом собственные числа и собственные вектора определяются из уравнений
ϕ(λ) = det(B
0
− λ) =
q B
i
= λ q

i i
= ,1 n
2.9 Средняя взаимная информация непрерывных источников сообщений
непрерывного времени.
  Пусть X(t) и Y(t) два  множества  случайных  процессов  с  нулевым  средним
заданных  на  конечном  интервале  t ∈ [0,T].Предполагается,  что  каждый  из
случайных  процессов  допускает  разложение  по  системам полных  ортогональных
(ортонормированных) функций, т.е.


(t) = ∑ ϕ (t)


i
i

i=1
                                                                                    (1)


(t)
Yψ (t)

= ∑

i
i
i=1
X
X t
( )ϕ t()dt
= ∫

i

T
                                                                                   (2)
Y
Y t
( )ψ t()dt
=


i

T
 
 При этом сходимость такого разложения понимается в среднеквадратическом
смысле. Допустим, что эти процессы могут быть заданы совместно с помощью ПВ
вида.
W
( )1
(ny( )1
y(n
(
...
,
...
) ),   n=1,2…∞.
xy
 Тогда    для  усеченного  разложения  указанных  процессов  средняя  взаимная
информация имеет вид:

27
W
(xy)
(,) = (X n Y n
,
) =
W
(xy
XY
) log
dxdy
∫ ∫
                        (3)
X Y
(x W
)
y)
X Y
X
Y
W

y) = (xy)dx

Y
X Y

X

                                                                              (4)
W

(x) = (xy)dy
X
∫ XY


Y
 Тогда  средняя  взаимная  информация    между    исходными    процессами    на
интервале T определяется в виде:

I X
(
t
( ) Y
;
t
( ))= lim I X
(
Y
, )                                                                  (5)
T
n→∞
 Если предел существует, то  равенство  (5)  справедливо  для  любых полных
систем ортонормированных функций.
 Пусть,  например, Y(t)=X(t)+Z(t), где  X(t), Z(t)  независимые    Гауссовские
стационарные  процессы  с  корреляционными  функциями  (τ) и (τ) ,а  ϕ(t),ψ (t)
x
z
собственные  функции,  определенные  в  результате разложения Карунена-Лоэва.
B t
( ,)ϕ t( )dt λ
= ϕ t( )
X
1
2
i
1
1
i
i
2

                                                                       (6)
T
где  λ  - собственные числа корреляционного ядра уравнения.
i
   Если    предположить,  что      система      полных      собственных      функций
идентична  для X(t) и Z(t), что  всегда  справедливо      для  → ∞ (асимптотическое
поведение    собственных    функций    Гауссовских процессов),  то  выражение  для
средней    взаимной    информации      между  процессами  примет  следующий  вид
n

µ 


µ 
(t);Y(t)) =
[
lim H) − H(Z
i
i
) = lim .
0 5
log
∑ 1+  = .05 log
∑ 1+
T
]

n→∞
n→∞
λ
λ
=1


=1


где  λ ,
−  - собственные числа (дисперсии коэффициентов  , из (2)).
µi
i
i
2.10  Квазиобратимые эффективное кодирование непрерывных
источников с заданным критерием качества.
  Для      решения      задач      цифрового      представления      информационно-
измерительных    процессов    в    системах  автоматизации    необходимо  их
гарантированное  восстановление  по  цифровому  эквиваленту    с    заданной
степенью точности.
  Под    квазиобратимостью      понимается      возможность      восстановления
процессов с заданной точностью при выбранном критерии восстановления.
  В  этом  случае,  как    и    в    рассмотренном    ранее    случае    обратимого
кодирования  дискретных    сообщений,  необходимо    определить  предельный
минимальный    объем    информации,  позволяющий    закодировать    процесс  с
заданной степенью точности, т.е. в этом случае говорят - необходимо определить е
- производительность  процесса,  где  ε-  степень  точности    его        цифрового
представления.

28
  Суть  постановки  задачи    квазиобратимого    кодирования    для    конечной
последовательности процессов состоит в следующем- пусть источник непрерывных
сообщений X образует последовательность
{x( )1 x(n
=
)
...
} ∈,                                                                                   (1)
которая аппроксимируется другой последовательностью
           {y( )1 y(n
=
)
...
} ∈.                                                                                   (2)
  Для      установления      соответствия      между      (1)   и      (2)        введем
неотрицательную  функцию (xy), ,  значения  которой    будем    связывать    с
n
величиной  ошибки  аппроксимации  процесса  (1)  цифрового    представления    с
помощью (2).
n
n
1
1
При этом    d x
(
y
, )
d x
( (i) y
, (i )
)
= ∑
=
d
∑ ,                                     (3)
n
n
i
n
i
i=1
i=1
где  −  является  ошибкой  цифрового  представления  i-ой  координаты    вектора
i
(1).  Т.к.  предложенная  аппроксимация  применяется    к    случайным
последовательностям,  то  связь  (1)  и (2) описывается  с  помощью    условной        ПВ
вида     W
x).
/x
  В этом случае мерой ошибки аппроксимации будет являться функционал
=
W
x W
)
(x)(xy)dxdy   .                                                     (4)
n
/x
x
n
∫ ∫
X Y
Здесь ()  априорная ПВ ограниченной последовательности сообщений, откуда с
x
учетом (3) будем иметь
n
1
=
d
∑  ,                                                                                              (5)
n
n
i
i=1
где  -  средняя  ошибка  аппроксимации  координаты    ее  цифровым
i
i
эквивалентом  .i
  Т.о.  задача  определения  ε -производительности  сводится  к  определению
наименьшего  числа  бит,  приходящихся    в    среднем    на    одно  сообщение,  для
которого величина  d ≤ ε .
n
2.11  Эпсилон-энтропия гауссовского вектора сообщений
  Как  и  в  общем  случае,  рассмотренном  выше,  имеется    вектор    исходных
сообщений  (1), который аппроксимируется с помощью его цифрового  эквивалента
(2).
  Пусть при выбранной мере качества (3) задаются ПВ вида
      W
x),(x) ,
/x
x
произведение  которых  определяет  совместное  распределение    вероятностей
определенного  множества  xy ∈X Y ,  тогда    ε-энтропией    вектора при  заданном
критерии качества аппроксимации называется функция
1
H
X
                                                               (1)
ε ( ) = {
m in
( , )
Φ ε
( )=W
y
( / x) d
:

/
ε
n
y
x
n
} I X Y
n
где  Φ ( )
ε - множество условных  ПВ, для  которых  выполняется  условие    d ≤ ε.
n
n
  В дальнейшем будем полагать ,что

29
     1)    d
y(i)
(i
=
− ) )2  -квадратичная мера несоответствия;
i
2
n
n

2
0 5
 x(i) 
     2)    W
x
( ) =
W
x
( (i )
)

=
(2πσ ) .. exp

−
2 
x
i
i

i=1
i=1
i




  Координаты векторов x(I) статистически независимы и их последовательность
нестационарна, элементы которой подчиняются Гауссовскому закону.
  В  силу  статистической  независимости    координат    вектора  X   средняя
взаимная 
информация 
может 
быть 
определена 
следующим 
образом
n
(X Y
; ) = () − (/) = ∑[((i)) − ((i) /(i).. Y
. ( )1 )] ≥
i=1
                 (2)
n
≥ ∑[
n
((i) ) − ((i) /(i) )] = I((i(i
;
) )

i=1
i=1
  Знак    равенства    достигается,  когда  координаты  вектора  исходного
сообщения и его цифрового эквивалента независимы между собой, т.е. когда
n
W
y x =
W y(i(i)
( / )
(
/
)

 .                                                                 (3)
/x
i
i=1
Откуда 
ε-производительность  (1)  может  быть  представлена  в  виде
n
1
() = min I(X Y
; ) = min
min
((i); y(i) )                 (4)
ε1 ε


e
{ ,..., }

i)
i)
i)
2  n
(ε ) = W
(

y
x
) :d
i
ε
=1
Φi i
y
≤ 

x

n
Причем  
2
2
∑ε ≤ ε ,                                                                                       (5)
n
i
=1
а внутренний минимум ищется по множеству ПВ   Φ (ε ),для которых     ошибка
i
i
апроксимации i-ой координаты исходного  вектора  X  не    превышает  ε 2 .
i
  Внешний  минимум  в (4) ищется  по  всем    ошибкам    представления
координат    для  которых  справедливо (5)  с    учетом    введения
среднеквадратической  метрики (2). Т.к.  слагаемые  в (4) минимизируются
независимо , то  отсюда    следует, что
n
1
H
X
( )
m in
H |
X
( (i )
)
=
,

e
ε
{
i
ε .
1 ...ε n } n i=1

2 
(i)
σ
где              
i
H
X
  .                                             (6)
ε (
) = .
0 5log m ax ,
1 2 
i
 εi 
Здесь (6)- ε-энтропия случайной координаты  (i) , определенная ранее.
Поэтому  имеем
n
n
1
1


(i)
σ
H
X
( ) = m in
H
X
i
       (7)
ε
∑ ε ( )= m in
log m ax ,

1 2 

2
.
1
ε
..
} n
i
...
=1
1
=1
ε
i
{ε εn} n
n
i
i


где  ε2  удовлетворяет (5).
i
  Т.к.    величина        ε-производительности        является        немонотонно
возрастающей функцией e,то при увеличении e с учетом того, что  ε2
2

 , условие
i
σi
(5) может быть переписано в виде:
1 n 2
2
 ∑ ε = ε
n
i
      = 1, n                                                                              (8)
i 1
 =
2
2
ε ≤ σ
i
i


30
 Задача минимизации (7) с учетом (8) определяется теоремой Куна-Таккера.
 Согласно этой теореме ,необходимым и  достаточным  условием  того,     что
вектор   ε2
{ε2 2
=
...
 минимизирует функцию
1
εn}
n
2
1
2
2
σi
f(ε ... ) =
log

                                                                          (9)
1
εn
n
2
1
=
ε2
i
i
является существование такого числа µ ,что
2
2
df = µ
ε ≤
i
σ

   для любого  i, такого что соответственно 
i              (10)
dε2 ≤
 µ
ε2
2
=
i
σ
i
i
т.о.  если  будет  определено  значение µ ,  для  которого  справедливо  (10),  то
соответствующие значения εi и будут обеспечивать минимизацию функции (9).
  Т.о. если удается подобрать число  µ  и вектор  ε2* = {ε2*
2*
...
,  что при этом
1
εn }
будет удовлетворяться (6) и (10), то этот вектор и будет минимизировать (9).
Доказательство:
1 n
Пусть  - корень уравнения      
m i
∑ { 2 2
n d ,σ
= ε                        (11)
i }
2
i
n i 1
=
d2

d2
,

< σ2
Пусть   ε
i
2* = 
                                                                      (12)
i
σ2 d2
2
,

i
σi


В этом случае можно показать, что вектор  ε2*определяемый (12) с учетом (11)
i
обеспечивает условие (10).
1 log e
Покажем, что при  µ = −
=const система (10) справедлива.
2
2
n d
df
1 log e
Действительно,     
= −
,
dε2
n
2
ε2
i
i
т.к.  ε2* =
2
2
d2   для всех i, для которых  < σ
i
i
   и  ε2*
2
=
2
2
, для всех i, для которых  ≥ σ ,
i
σi
i
1 log e
µ

2*
2
= −
,
<
2
ε
σ
df
i
i


то 
n
2
d
= 
dε2
1 log e
1 log e
i
µ
2*
2
 = −
*
≤ −
,
=
2
2
ε
σ


n
2
ε
n
2
d
i
i
 Т.е. условие теоремы выполняются.
Тогда  ε -производительность вектора   () равна
ε
n
1
 σ 2 
(X
i
) =
log max

 ,1
,                                                                 (13)
ε
2 
2n i 1
d
=


где  d2 - корень уравнения (11).
  Нетрудно    обобщить  определение  ε -энтропии  на    Гауссовские    вектора  со
статистистически  зависимыми  координатами,  у  которых  корреляционная  матрица
не является диагональной, т.е. ≠ Λ .
X
  Это  обобщение  достигается  путем  ортогонального  преобразования    вектора
 на основе уравнения.
* = XQ                                                                                                    (14)

31
  При    этом    строками    матрицы      Q      являются      собственные    вектора
корреляционной матрицы, удовлетворяющие уравнению :
  q B = λ         = 1, n                                                                               (15)
i
X
i i
с учетом нормировки                  q qT = 1,                                                          (16)
i i
а  λ   ищутся как собственные числа уравнения (18)
i
          ϕ(λ) = det(B
0                                                                             (17)
− λ) =
В этом случае
n

1


*
λi
H
X


ε (
) =
log m ax ,
1 2 
n
2
d

i=1



                                                             (18)
n
1
m i
∑ {
n d2 λ
,
} = ε2
n
i
i
 =1
  Здесь  λ  - собственные  числа,  определяющие  среднюю   мощность   i-ых
i
координат вектора  *  .
2.12  Эпсилон-энтропия стационарного Гауссовского процесса
дискретного времени.
  Рассмотрим      источник,   порождающий        гауссовскую        стационарную
последовательность.  Это    означает,  что    для  ∀ n=1,2...множество  векторов
источника
X
{x n
=
( )
( )
...
}                                                                                         (1)
имеется n-мерное  гауссовское  распределение  с  корреляционной  матрицей
B
B n
B n
B n
=
      τ ... ,1 ,
0 .
1 ..
τ =
=
= −
X
ij
(i− j)
  Тогда    ε -энтропией    процесса    с    дискретным      временем,   относительно
выбранного критерия качества будет определяться величина
H
= H {X (i)
ε
                                 (2)
ε
} =
H
X
=
H
X n
( )
(
)
inf
( )
inf
(
),
X
i
n
ε
n
ε
где
1
H
X n
(
) = m in
I X n
(
Y n                                                                         (3)
ε
;
)
Φ ε
( )
n
n
  В    случае    среднеквадратичной    метрики      цифрового      представления
сообщений с учетом ранее полученных результатов, имеем
n
n

1
 λ 
H
X n
i


ε (
) =
log m ax ,
1 2 
n
2
d

i=1



                                                             (4)
n

1
ε2 =
m i
2

∑ {
n d
n
λ
,
}
n
i
i

=1
  Здесь  λ - собственные числа корреляционной матрицы  .
i
X
  В  дальнейшем  определение ε-энтропии на основе системы (4) сновывается
на  существовании  предельных  переходов  при → ∞ .  Суть  предельного  перехода
сформулируем без доказательства в виде теоремы.
ТЕОРЕМА.


32
Для    гауссовского    стационарного    процесса    с    дискретным  временем    и
энергетическим спектром

                     G
f
B e jf
( ) = ∑
τ ,
X
τ
τ =−∞
/
1 2
где                           B
G
f e jfτ
=
df                                                          (5)
τ
X
∫ ( )
− /
1 2
ε -энтропия  при  квадратическом  критерии  качества  вычисляется  по      системе
параметрических уравнений:
/

1 2
 G f
( )
H
X n
X
 ε( ) = .
0 5
log m ax ,

1
2

d

−1 2


            
/

                                                    (6)
/

1 2
ε2 =
m i
2

∫ {
n d
G
,
f
(
X
})df
− /

1 2
Здесь  d2  - параметр уравнений (6).
Решение  системы (6) наглядно  иллюстрируется    в    виде    геометрической
интерпретации  о  "сосуде  с  водой".  Представим  себе  сосуд  единичной  ширины  с
крышкой,  форма  которой  задается    энергетическим    спектром    процесса,    тогда
объем налитой в сосуд  жидкости - e2  ,  а  после  опускания  крышки     установится
на  уровне-  d2 ,  тогда    для    нахождения    ε -производительности          процесса    надо
)
проинтегрировать    функцию    log X
  по    той    области  частот,  в  которой
d2
) ≥ d2 , т.е. по интервалам [− 1/ 2−
, f , [− f f
,
, [f 1
, / 2 .
2
]
1
1 ]
2 ]
X
2.13  Эпсилон-энтропия гауссовских процессов.
 Распространим полученные результаты  для  гауссовских  векторов  на    класс
случайных  стационарных  гауссовских  процессов  (СП),  которые        полностью
описываются  с  помощью  автокорреляционной  функции  (τ) .  Для  этого
X
рассмотрим  множество  реализаций  СП  x(t) ∈ (t) ,  заданных    первоначально  на
интервале наблюдений  t  ∈[-T/2,T/2].
  Тогда  отрезки  таких  процессов  должны  быть    представлены    с    помощью
разложения Корунена-Лоэва:

X t
( ) =
X
t
( )
∑ ϕ                                                                                         (1)
i
i
i=1

33
 Здесь  ϕ (t) - собственные  ортонормированные  функции,  являющиеся  решением
i
соответствующего интегрального уравнения;
Xi-  статистически  независимые  случайные  гауссовские величины с нулевым
средним и дисперсией равной  λ ;i
При этом значения λ  являются собственными числами корреляционного ядра
i
(τ) .
x
  Аппроксимацию  исходного  процесса X(t) с  помощью  его  цифрового
эквивалента Y(t) будем  осуществлять  в  среднеквадратичной  метрике  -
(X t
( ),Y t
( )):
T
/
1 1 2
2
(X t
( ),Y t
( )) =
∫[X t() −Y t()] dt ,                                                       (2)
T
− /12
которая в случае разложения аппроксимирующей функции в виде

           Y t
( ) =
Y
t
( )
∑ ϕ                                                                                         (3)
i
i
i=1
сводится к следующему равенству

1
2
(X t
( ),Y t
( )) =
∑[.                                                                (4)
T
i
]
T i=1
 Тогда  на  последовательности  коэффициентов  разложения  ,  с  учетом
i
i
меры (4) можно  определить  интервальную  ε-энтропию  процесса  в  виде:
1
H
X
(
t
n
( )
n
( )
  .                           (5)
ε
( )) =
inf
lim
(
,
)
→∞
Φ ε
(
)={
n
n
( )
n
W
y
(
/ x(
)
)
d
:
≤ε
T
T }
I X
Y
T
T
T
Эпсилон-энтропией процесса будем называть величину

H
X
(
t
( ))= lim
H
X
(
t
.                                                                (6)
ε
( ))
T →∞
εT
Путем   доказательства   ряда   теорем   нетрудно   показать,   что     интервальная
ε-энтропия      и      погрешность      цифрового      процесса  в          среднеквадратичной
метрике связаны системой параметрических  уравнений

1
H
X
(
t


ε
( )) =
.
0 5log λ
2
T
i
1
i

λ
: >
i
p

2
              

                                                               (7)

1
2

1

ε =

+ ∑ λ ,
T


T
1
p
i

2
1
i
 λ: >

:


i
p
2
p


2

где  p-параметр    уравнения,  представляющий    собой      производную  функции
H
X t
.
ε ( ( )) в точке  ε T
T
1
Из  последнего  уравнения  нетрудно  заключить,  что  если  ∀i
,  то
≤ 2p
величина интервальной ошибки
1
ε2
2
=
∑ = ,
T
λi σx
T
а соответствующая ей интервальная  ε -энтропия H
X t
ε ( ( )) ≡ 0 .
T
Тогда на основе вышеупомянутого асимптотического поведения собственных
чисел  и  собственных  значений  гауссовских  процессов ∀> 0можно    перейти  к


34
пределу,  который  на  основании  определения (6) и  системы (7) приведет  к
следующей системе параметрических уравнений
H

X
(
t
( )) = lim
H
X
(
t
( ))
→∞
= .
0 5
log p
2 G
f
( )df
ε

T
ε
X
T

1
fG
:
(f)>
X

p

2

                           (8)
ε2 =
1
lim
2
→∞ ε
=
df +
G
f
( )df
2


T
T
p
X

1
1
fG
:
(f)>
fG
:
(f)≤
X
X

p
2
p

2
Здесь  ) -представляет    собой    двухсторонний    энергетический    спектр
X
процесса,  связанный  с    корреляционной    функцией  B t
( )   процесса  X t
( )
X
уравнением:

) = 2 (τ)cos2πfτdt .                                                                          (9)
X
X
∫0
Решение  системы  параметрических  уравнений (8) может    быть    наглядно
продемонстрировано  графической иллюстрацией.
При  этом  величине  ε 2  соответствует  площадь  заштрихованной    области,  а
незаштрихованной    области    энергетического    спектра  соответствует  пределы
интегрирования 1-го уравнения из (8) для оценки  ε -производительности процесса.
2.14  Эпсилон-энтропия гауссовских процессов Баттерворта.
Весьма  универсальной  моделью  измерительных  информационных  процессов
являются  процессы  Баттерворта.  Они  достаточно    просто    моделируются    с
помощью    формирующих        систем,   частотные      характеристики      которых
синтезированы  таким  образом,  что  процесс  Баттерворта  на выходе реализуется в
результате  подачи  на  их  вход  белого  шума,  корреляционная  функция  которого
имеет вид:
(τ) = δ(τ)
X

.
(ω) =

1
X
Для  таких  процессов  входные  и  выходные  сигналы    формирующих    систем
связаны уравнением:
(n)

t

Ω (n− )
( )
t
( ) .

−1
+ ..+a
Y
n
t
( )
0
X t()
n
c
c

.                                           (1)
n

 = ,1∞
Здесь n-порядок процесса Баттерворта;

35
... -некоторые постоянные коэффициенты;
0
1

Ω -частота Баттерворта.
c
 При    этом    для    процессов    Баттерворта    любого    порядка    имеет      место
свойство, состоящее в  том,  что  в  полосе  частот  Ω
 сосредоточена   половина
c/ 2
мощности процесса ,т.е.
σ 2
/2
1
=
G0
d
ω
ω
2
π
2
∫ ( )
0
На  основании    (1)  можно    заключить,  что      передаточная      функция
Баттервортовского фильтра будет определяться величиной
(ω)
1
jω) =
=
 ,
L
(ω) ( j n
ω) + Ω ( j n−1


1
ω)
.
+ ..+a n
n
c
0
c
где WL -частотная характеристика системы.
 В  этом  случае  нормированная  корреляционная  функция  и  односторонний
энергетический спектр-процесса Баттерворта n-ого порядка имеют вид

+1


sin
i
π
π

(
2
Ω τ ) 
(n)
i
c
(τ) = sin
(
∑ − )1
x

2n
i
0
+1
!
1
i= 
sin
π



2n



4n
                                              (2)
0
π
1
(n) (ω) =
sin
Y


2n
2n
c

 ω 

1+ 

 Ω

n
 = ,1 ,
∞ ω ≥ 0
  В  частности,  для  ряда  значений n=1,2,I  нормированные  корреляционные
функции могут быть получены в явной форме:
1)  = 1   (τ) = exp − Ω τ
X
}
 Ω τ 
Ω τ
Ω τ 
2)  = 2     R
c
c
c
(τ) = exp−
cos
+ sin

X

2 
2
2 
sin Ω τ
3)  = ∞   R
c
(τ) =
  (процесс с ограниченным спектром)
X
Ω τ
c
Особенность 
процессов 
Баттерворта 
является 
то, 
что 
эпсилон
производительность (ε-энтропия) может быть вычислена в явном виде из системы
уравнений:
F

G0(n) ( )
H F (t
X
))

= log
df
ε
∫ G0(n)(F)
0
X


                                                 (3)

2
1
2
ε



δ =
0
0
2 =
FG (n) (F)
2 
(n)( )df
F
X
X

σ
σ


X
X


F

Здесь F-мгновенная частота, на которой пересекается  энергетический   спектр
процесса  и   значение   параметрической   прямой   1/ρ   (для    одностороннего
спектра),  при      этом      такое      пересечение      процесса        Баттерворта  всегда
однократно.
ПРИМЕР.

36
Определить  выражение  ε -энтропии  нормируемого    процесса    Баттерворта
для = 1, ∞  и вычислить ε -энтропию для относительной погрешности
δ =0.1; 0.01; 0.001.
F
В    общем    случае    точное    аналитическое    выражение    для    ε -энтропии
возможно лишь для случая n=∞. Здесь односторонний спектр имеет вид
 1 , f

≤ f

G0(∞) ( )
f
c
=
   f
c
=
X
 c
c

0, f


c
Тогда в соответствии со вторым уравнением из (3) имеем:



δ 2  f G0(∞) f
G0(∞) f df  = f G0
=
+
(∞)
( )
( )
) .
F
c
X
c
X
c
X
c


f

c


откуда
2
2
δ
δ
G0(∞) G0(∞)
( )
f
F
fc
) =
=
.
X
X
c
f
f
c
c
 С  учетом  последнего  результата  ε -производительность процесса  будет      иметь
вид:
fc
(0∞) ( f
1
H fc (X t
X
c
( )) = log
df
2
.
2
log
δ
c
∫0
δ
δ
f
f
c
c
  На  практике  для  оценки  информационной  производительности  процессов
обычно      строятся      номограммы      производительности,   где        процессы
представляются в приведенной форме (нормировка процесса):
≡ 1
c
1
H fc (X t
( )) = 1 (X t()) = 2log
δ
δ
δ1
= 1Гц
c
δ
0.1
0.01
0.001
1
1(X t
( ) )
ε
бит/сек
6.64
13.3
19.9
 Для      процессов      Баттерворта        любого        порядка          приближенная
аналитическая оценка  ε -производительности следует из равенства
a
∞ (
i
n
− )
1 1
+  1
1
1

ln(1
2
)dx = 2 (
n aln − + )
1 +



+

ni− 
i
ni
ni
1
1
2
=

+1 2 −1 (2ni − )
1 2 1
a
0

Пренебрегая    первым    слагаемым,  что    допустимо    при    малых  d,  по
аналогии с предыдущим случаем можно получить:

2
π

n
4
sin
nf
2


c
n
2 −1
n
2
H
X
(
t

                                                      (5)
2

δ
( )) =
− 1
fc
ln 2
( n

2 − 1 πδ
)

fc




Откуда нормированные (fc=1) значения (5) для  класса  процессов  Баттерворта
порядка n будут:
δ
n
1
2
3
4
1
0,1
365
27,7
13,7
11,1

37
0,01
368*102
127
47,5
37,0
0,001
368*103
608
132
72,6
  Из анализа полученных  результатов  можно  сделать  вывод,   что    наиболее
экстремальной  моделью,  обладающей    наибольшей    информационной
производительностью    является    процесс    Баттерворта      1-порядка.   Его
информационная  производительность  превышает  остальные    на  2  порядка.
Следовательно,  именно    этот    информационный    процесс    наиболее    часто
используется      при      системном      анализе      и        инженерных        расчетах
информационной    производительности    объектов    автоматизации . Такой  подход
гарантирует  правильный  выбор    исходных  данных  технического  задания  при
проектировании  автоматических  систем  реального  времени  на  стадии
предварительных  исследований.  Характеристика    эпсилон-энтропии          является
определяющей  для  оценки  пропускной   способности   систем    автоматизации.
В заключении приведем статистические характеристики (корреляционную функцию
и энергетический спектр) наиболее распространенных  моделей информационно-
измерительных процессов:
N
(τ)
0
X
(ω)
X
8
1
1
(1+Ωτ)exp(-Ωτ)
2
2
Ω 
ω 
1 + 



 
Ω 
ex {
p − Ω2 2
τ }
2
2 π

ω  
2
Ω exp− 

2Ω


sin2 Ωτ
2
 π
ω
1
1
( −
) ω
,


(
)2
Ωτ
 Ω

2
3

1
0 ω
,
>


2
4
1

ω
2
1 − Ω τ,τ ≤


SIN
2
2
2Ω

2
1

Ω  ω 
0,τ >


2

 2Ω
5
2
 π

0
, ≤ f ≤
3Ω

sin 2Ωτ − sin Ωτ

 4π Ω

Ωτ
,

< f ≤
3Ω 2π
π



0,f >


π
6
Ω τ
Ω τ
Ω τ
4 2
1
exp(−
)(cos
+ sin
)
,f ≥ 0
2
2
2
1 + 2
4

( πf/ Ω)

38
7
sin Ωτ
2
 π

Ωτ
0 ≤ f ≤

 Ω ,



0,f >



8
exp(−Ω τ )
4
1
,f ≥ 0
1 + 2
2

( πf/ Ω)
2.15  Прямая   и   обратная    теоремы    кодирования непрерывных
источников при заданном критерии качества.
ТЕОРЕМА  прямая.
Для  любых  непрерывных  источников X дискретного  или  непрерывного
времени, обладающих  ε − энтропиями  (ε)  и  (X t() )  относительно выбранного
ε
критерия качества d найдется такая величина  δ >0,  что  при достаточно больших n
и T соответственно,  всегда  можно        определить  процедуру  кодирования,  для
которой  средняя          информационная  производительность  кода  Ik    будет
удовлетворять условию:

H
 (ε) + δ
I
 =
k
H
 (X t

( ) )
ε
+

δ                                                                                       (1)
d

 ≤ ε
Доказательство  теоремы  следует  из  свойств  ε -энтропии  как  монотонно-
невозрастающей функции n и T.
ТЕОРЕМА  обратная.
  Для  любых  непрерывных  источников  Х  дискретного  или  непрерывного
времени при средней информационной производительности кода меньше чем (2):
H
 (ε)
                =
                                                                                (2)
k
Hε(X t

( ) )
всегда имеет место неравенство (3):
> ε
            (3)
где d-выбранный критерий качества.
 Доказательство 
следует 
из 
свойств 
ε-энтропии  как  монотонно-
невозрастающих функций ε.
Глава 3. Дискретные и цифровые регулярные представления
информационно-измерительных процессов.
3.1  Классификация моделей информационно-измерительных
процессов.
 ðàìêàõ ñòàöèîíàðíûõ ìîäåëåé ñóùåñòâóþò 3 íàèáîëåå
ïðåäñòàâèòåëüíûõ êëàññà ïðîöåññîâ, èñïîëüçóåìûõ ïðè ñèñòåìíîì àíàëèçå
èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè îáúåêòîâ àâòîìàòèçàöèè ñèñòåì ðåàëüíîãî
âðåìåíè. Ê ýòèì êëàññàì îîòíîñÿòñÿ :

39
4.  ïðîöåññû Áàòòåðâîðòà;
5.  ïðîöåññû Ëåâè;
6.  íåìàðêîâñêèå ïðîöåññû.
Ìîäåëèðîâàíèå äâóõ êëàññîâ ïðîöåññîâ îñóùåñòâëÿåòñÿ ñ ïîìîùüþ
ôîðìèðóþùèõ ôèëüòðîâ ñîîòâåòñòâóþùåãî ïîðÿäêà, âõîäîì êîòîðûõ ÿâëÿåòñÿ
áåëûé ãàóññîâñêèé ïðîöåññ. Óðàâíåíèå ïðîöåññîâ Áàòòåðâîðòà è Ëåâè K-îãî
ïîðÿäêà èìååò âèä:
X (k) t + C
X (k − )
( )
1
t
( ) .

 , (1)
1
+ ..+C X t
( )
0
= BY t
( )
k
,...,B
0
- ïîñòîÿííûå êîýôôèöèåíòû, ñâÿçàííûå ìåæäó ñîáîé
k
ñîîòíîøåíèÿìè
K
Ïðîöåññû Áàòòåðâîðòà
Ïðîöåññû Ëåâè
1
C
= α  , B =
C
2
C
= α  , B = 2α
0
0
0
C
= α  , B =
C
2
2
0
0
2
C
= C
4
= α
1
0
C
1
1
=
B =
C
2
C
0
1
C
4
2
0
Äëÿ ïðîöåññîâ Áàòòåðâîðòà íîðìèðîâàííàÿ êîððåëÿöèîííàÿ ôóíêöèÿ è
îäíîñòîðîííèé ýíåðãåòè÷åñêèé ñïåêòð èìåþò âèä:


π
sin i
(


+ )
1
i
π
2
(




α τ)
R
i

( )
τ = sin
(
∑ − )
1

X
k

2
=0

π 
i!
i
sin i
( + )

1
k


2 


π
k
4 ⋅

sin

 0



k
2 
G
( )

ω =
,
2
ω ≥ 0
X
k


ω

α1+ 




 
α 
k
 = ,,
12 ..∞





Äëÿ ïðîöåññîâ Ëåâè íîðìèðîâàííàÿ êîððåëÿöèîííàÿ ôóíêöèÿ è
îäíîñòîðîííèé ýíåðãåòè÷åñêèé ñïåêòð ñîîòâåòñòâåííî èìåþò âèä:


k
2
− 1
R ( )

τ
e− α τ
=
e− Z
2
⋅ Zk−1 Z
k
( + α τ ) −1dz
Γ 2
1

X
( k − )

0
K


2
1
0
α −
4
( k
2
− )
2 !!
G
( )

ω =
,
    , (2)
2
2
ω ≥ 0
X
( k
k
2
− )
3 !!(α + ω )

k
 = ,,
12 ...




40
Ã(.) - ãàììà-ôóíêöèÿ; çíàê !! - ôàêòîðèàë ïî ÷åòíûì èëè ïî íå÷åòíûì
çíà÷åíèÿì.
Õàðàêòåðèñòèêè ïðîöåññîâ Ëåâè ïåðâûõ äâóõ ïîðÿäêîâ, ïðèíèìàþò
íàèáîëåå ïðîñòîé âèä:
K
R ( )
τ
G 0 ( )
ω
X
X

1
exp{-ατ}
2
2
α + ω
8 2
α
2
(1+ατ)exp{-ατ}
2
2 2
α
(
+ ω )
Íåòðóäíî âèäåòü, ÷òî ïðè k=1, ñîîòâåòñòâóþùèå ñòàòèñòè÷åñêèå
õàðàêòåðèñòèêè ïðîöåññîâ Áàòòåðâîðòà è Ëåâè ñîâïàäàþò.
Óêàçàííûå ïåðâûå äâà êëàññà ïðîöåññîâ ÿâëÿþòñÿ (k-1)-îäíîêðàòíî
äèôôåðåíöèðóåìûõ â ñðåäíåêâàäðàòè÷åñêîì ñìûñëå.
Ê òðåòüåìó êëàññó ïðîöåññîâ îòíîñÿòñÿ äâå íàèáîëåå ÷àñòî èñïîëüçóåìûå
íåìàðêîâñêèå ìîäåëè ñî ñëåäóþùèìè ñòàòèñòè÷åñêèìè õàðàêòåðèñòèêàìè:
R ( )
τ
G 0 ( )
ω
X
X
2 2
2
 ω 
exp{− α 2τ 2}
⋅ ex 
p −

4 2
α

α 
1

 ω


ex 
p −

1
2
2
+ ω τ
α
 α 
Ïðè îöåíêå èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè âûøåïåðå÷èñëåííûõ
ïðîöåññîâ êîíñòðóêòèâíûì ÿâëÿåòñÿ ðàçëîæåíèå èõ â ðÿä Òåéëîðà, êîòîðîå
ïðèìåíèòåëüíî ê ïðîöåññàì Áàòòåðâîðòà è Ëåâè èìååò âèä:
K
1
2

R ( )
τ = 1 − α τ +
(
)
ατ 2
(
)
ατ 2
X
R ( )
τ = 1 −
+
R ( )
τ = 1 −
+
X
X
(
)
ατ 2
!
2
!
3
+

3
3
4
Áàòåðâîðòà
!
2
α
2
τ
(
)
ατ
+
.
− ..
+
.
− ..
(α τ )3
!
3
!
5

.
+ ..
!
3
(
)
ατ 2
R ( )
τ = 1 −
+
X
!
2
Ëåâè

(
2
)
ατ 3

+
.
− ..
!
3
3.2 Общие сведения о дискретных регулярных представлениях
процессов.

41
Ïîä  èíôîðìàöèîííî-èçìåðèòåëüíûìè ïðîöåññàìè (ÈÈÏ) ïîíèìàåòñÿ
ðåçóëüòàò âçàèìîäåéñòâèÿ îáúåêòà àâòîìàòèçàöèè è ñèñòåìû àâòîìàòèçàöèè ïðè
âûïîëíåíèè ïîñëåäíåé ôóíêöèé ñáîðà èíôîðìàöèè  â ðåàëüíîì ìàñøòàáå
âðåìåíè.
Äèñêðåòíûì ïðåäñòàâëåíèåì ïðîöåññîâ x(t)∈X(t) íàçûâàåòñÿ ïðîöåäóðà
èõ  ïðåîáðàçîâàíèÿ â êîíå÷íóþ èëè áåñêîíå÷íóþ ñîâîêóïíîñòü åãî êîîðäèíàò
{} ∈{(ñïåêòð), ïî çíà÷åíèÿì êîòîðûõ ìîæåò áûòü ïîëó÷åí
k
k
}k
(âîññòàíîâëåí) ñàì ïðîöåññ x(t) èëè åãî îöåíêà  x(t) ∈(t). Êîîðäèíàòû ñïåêòðà
- ýòî ëèáî êîýôôèöèåíò îáîùåííîãî ñïåêòðàëüíîãî ðàçëîæåíèÿ ïðîöåññà íà
k
èíòåðâàëå äèñêðåòíîãî ïðåäñòàâëåíèÿ, ëèáî èíòåðïîëÿöèîííîå çíà÷åíèå
ïðîöåññà.
Ðàçëè÷àþò èíòåðâàëüíûå t ∈ [-T/2,T/2] è íåèíòåðâàëüíûå t ∈ (-∞,∞)
äèñêðåòíûå ïðåäñòàâëåíèÿ ïðîöåññà.
Óêàçàííûå ïðîöåññû ñ ó÷åòîì îãðàíè÷åíèé íà ðàçìåðíîñòü èõ
ñïåêòðàëüíîãî ïðåäñòàâëåíèÿ ìîæíî ïðåäñòàâèòü ñëåäóþùèì îáðàçîì:
{a ..a
.
=
( )
0
N

} A[x t]

 , (1)
x t
( ) = B


{[a ..a.
0
N }]
ãäå À è Â - îïåðàòîðû äèñêðåòíîãî ïðåäñòàâëåíèÿ è âîññòàíîâëåíèÿ
ñîîòâåòñòâåííî. Ïðè ýòîì èñõîäíûé è âîññòàíàâëèâàåìûé ïðîöåññ ñâÿçàíû
ìåæäó ñîáîé íåêîòîðîé ìåðîé íåñîîòâåòñòâèÿ  âèäà
T
= [
d x t
( ), x t
( )  , (2)
T
]
íàçûâàåìîé ïîêàçàòåëåì âåðíîñòè âîññòàíîâëåíèÿ ïðîöåññà.
 êà÷åñòâå (2) ïðè èíòåðâàëüíîì ïðåäñòàâëåíèè ðåàëèçàöèè ïðîöåññîâ
èñïîëüçóþò
1. ïîêàçàòåëü ðàâíîìåðíîãî ïðåäñòàâëåíèÿ  d = ε
= sup x t
( ) − x t
( )  , (3)
T
m
t [ T T
∈ −
,
2
2]
ãäå T-èíòåðâàë äèñêðåòíîãî ïðåäñòàâëåíèÿ;
2.  ïîêàçàòåëü ñðåäíåêâàäðàòè÷åñêîãî ïðåäñòàâëåíèÿ
T
1
2
2
d
= σ
=
( ) −

( )
 , (4)
T
[x t x t ] dt
T
ñêî
T − 2
 ïðàêòèêå äèñêðåòíûõ ïðåäñòàâëåíèé ÈÈÏ èñïîëüçóþòñÿ òîëüêî
ëèíåéíûå îïåðàòîðû À è Â.  ýòîì ñëó÷àå èõ ìîæíî ïðåäñòàâèòü â âèäå:
a

= A ( ) = ∫ ( )ϕ ( )
k
[x t ]
x t
t dt
K

T


   , = ,
  , (5)
N
x
 t
( ) = B[a .. a
.
0
= ∑ ψ ( )
N ]
a
t
K
K

k

=0
ϕ ,
- ñîîòâåòñòâåííî âåñîâûå è áàçèñíûå ôóíêöèè, êîòîðûå äîëæíû áûòü
K
ψK
íîðìèðîâàíû òàê, ÷òîáû èõ ïðîèçâåäåíèå èìåëî ðàçìåðíîñòü 1/T , ò.å.

42
ϕ t
( )
t
( ) → 1 .
K
ψK
T
 çàâèñèìîñòè îò âûáîðà âåñîâûõ ôóíêöèé  {ϕ t
( )
ñïåêòð  {a
 ìîæåò
K }
K
}K
K
ïðåäñòàâëÿòü ñîáîé
1.  êîýôôèöèåíòû îðòîãîíàëüíîãî ðàçëîæåíèÿ, òîãäà (5) ïðåäñòàâëÿåò ñîáîé
îáîáùåííîå äèñêðåòíîå ïðåäñòàâëåíèå;
2.  òåêóùåå è ìãíîâåííîå çíà÷åíèå (âûáîðêè) ïðîöåññà  {a } = {X t
(
)
 , ïðè
K
K
K
}K
ýòîì  ϕ t
( )ïðåäñòàâëÿþò ñîáîé íàáîð ôóíêöèé, à âòîðîå âûðàæåíèå èç  (5)
K
îïðåäåëÿåò äèñêðåòíîå èíòåðïîëÿöèîííîå ïðåäñòàâëåíèå ñ  ϕ t
( ) =
t
( − t ).
K
δ
K
Ò.î. ïðè âûáðàííîì ìåòîäå äèñêðåòíîãî ïðåäñòàâëåíèÿ çàäà÷à
âîññòàíîâëåíèÿ  ïðîöåññà ñâîäèòñÿ ê âûáîðó àïðîêñèìèðóþùåãî èëè
èíòåðïîëÿöèîííîãî îïåðàòîðà Â.
Àíàëîãè÷íûå ïîêàçàòåëè âåðíîñòè äëÿ ñëó÷àéíûõ ïðîöåññîâ, ââåäåííûå
ðàíåå, áóäóò èìåòü âèä:
1.  d = E
sup
( )
( )
m ax =
X t − X t
T
 , (6)
X t
( ) X
,
t
( )
T
1
2
2
2.  d = σ
=
M
( ) −

( )
X
(X t X t dt
T
ñêî
 , (7)
T T
[
) ]
− 2
ïðè ýòîì êà÷åñòâî äèñêðåòíîãî ïðåäñòàâëåíèÿ îïðåäåëÿåòñÿ äâóìÿ
ïîêàçàòåëÿìè:
1.ýôôåêòèâíîñòü
{ min
σñêî


,
ϕ
ψ
k

}k { k}k
d
= 
T
{ min
E
  , (8)

m ax

,
ϕ
ψ
k

}k { k}k
2. ñîñòîÿòåëüíîñòü
lim

δ
= 0
ñêî
N →∞
lim d
= 
T
  , (9)
N → ∞
lim E
= 0
m ax
N

 →∞
Èçâåñòíî, ÷òî äëÿ äåòåðìèíèðîâàííûõ ïðîöåññîâ óñëîâèÿì
ýôôåêòèâíîñòè   â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå óäîâëåòâîðÿþò îðòîãîíàëüíûå
ðàçëîæåíèÿ, à â ðàâíîìåðíîé - ðàçëîæåíèÿ ×åáûøåâà (îðòîãîíàëüíûå
ðàçëîæåíèÿ ñ âåñîì).
Ìàêñèìàëüíàÿ ýôôåêòèâíîñòü â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå
äîñòèãàåòñÿ âûáîðîì ñîáñòâåííûõ ôóíêöèé îðòîíîðìèðîâàííîãî ðàçëîæåíèÿ,
óäîâëåòâîðÿþùèõ ðàçëîæåíèþ Êîðóíåíà-Ëîýâà, à â ðàâíîìåðíîé ìåòðèêå
ýôôåêòèâíîñòü äîñòèãàåòñÿ òîëüêî â ñëó÷àå ïðèíàäëåæíîñòè ïðîöåññîâ
îïðåäåëåííîìó êëàññó (êâàçèäåòåðìèíèðîâàííûå ïðîöåññû).

43
3.3 Основная теорема дискретизации - теорема Котельникова и ее
cледствия.
Òåîðåìà Êîòåëüíèêîâà ïîçâîëÿåò îïðåäåëèòü óñëîâèÿ è ïðîöåäóðó
âîññòàíîâëåíèÿ íåïðåðûâíûõ ñîîáùåíèé ïî èõ ìãíîâåííûì çíà÷åíèÿì ñ
íóëåâîé ïîãðåøíîñòüþ.
Êàê èçâåñòíî, ñóùåñòâóåò êëàññ ïðîöåññîâ, íàçûâàåìûé ïðîöåññû ñ
ôèíèòíûì ñïåêòðîì, äëÿ êîòîðîãî ñóùåñòâóåò äèñêðåòíîå íåèíòåðâàëüíîå
ïðåäñòàâëåíèå, êîòîðîå ïîçâîëÿåò âîññòàíîâèòü ïðîöåññ ñ íóëåâîé
ïîãðåøíîñòüþ ñ ïîìîùüþ ðÿäà Êîòåëüíèêîâà.
Òåîðåìà :
åñëè íåïðåðûâíîå ñîîáùåíèå x(t) çàäàíî íà èíòåðâàëå t∈(-∞,+∞) è èìååò
îãðàíè÷åííûé Ôóðüå-ñïåêòð S ( )
ω ñ ïîëîñîé ÷àñòîò ω∈[-2πF,2πF], òî îíî
X
ïîëíîñòüþ îïðåäåëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ñâîèõ îòñ÷åòîâ 
,
îòñòîÿùèõ íà èíòåðâàëå  ∆t =
F −
(2 ) 1 , è ìîæåò áûòü îäíîçíà÷íî ñ íóëåâîé
ïîãðåøíîñòüþ âîññòàíîâëåí ïî ýòèì îòñ÷åòàì ñ ïîìîùüþ ñëåäóþùåãî
ðÿäà:


sin 2 F
π t
( − k t
∆ )
x t
( ) =
x k
(
t
∆ )ϕ t
( )

=
x k
(
t
∆ )

 , (1)
K
2 F
π t
(
=−∞
=−∞
− k t
∆ )
k
k
ãäå ∆t=1/2F - øàã äèñêðåòèçàöèè,
F - ãðàíè÷íàÿ ìãíîâåííàÿ ÷àñòîòà ôèíèòíîãî ñïåêòðà, t∈(-∞,+∞) .
Îñíîâíûå ñëåäñòâèÿ òåîðåìû Êîòåëüíèêîâà.
1. Áàçèñíûå ôóíêöèè Êîòåëüíèêîâà ÿâëÿþòñÿ îðòîãîíàëüíûìè íà âñåé
âðåìåííîé îñè, ò.å.

Ψ t
( )
t
( d
) t

= 0 , k≠p
K
ΨP
−∞

2
1
ñ íîðìîé E
= Ψ
= Ψ2 t
( d
) t =

K
K
K
F
− ∞
2
Ïðè ýòîì ñïåêòðàëüíàÿ ïëîòíîñòü Êîòåëüíèêîâà âû÷èñëÿåòñÿ ïî ôîðìóëå:

 1 − ∆ ω
,ω ≤ π
2 F = ω


e jk t
m ax
S
( )
ω = Ψ t
( )⋅ e jω d
t
t =
F
Ψ

2
K
    
K
ω > π
2 F = ω
− ∞
,

0
m ax
2. Ïðîöåäóðà âîññòàíîâëåíèÿ èñõîäíîãî ïðîöåññà ïî åãî äèñêðåòíûì âûáîðêàì

ýêâèâàëåíòíà ïðåîáðàçîâàíèþ äèñêðåòíîãî ïðîöåññà  x t
( ) =
x t
( ) t
(
∑ δ − k t
∆ )
S
−∞
èäåàëüíûì ôèëüòðîì íèæíèõ ÷àñòîò


44
1
Äåéñòâèòåëüíî , ò.ê.  [
Φ δ(t− kT ]
) =
δ ω
(
− ω
k
)
T
0

∞ •
∞ •
1
1
 [
Φ x t
( )
( )
ω =
( )
∑ ω ∗ (
δ ω − ω )
0
=
( )
∑ ω = ( )
ω
T
]S
S
k
Sx
S
X
x

T
T
X
T
T
k = −∞
k

= −∞

π
ω0 = 2 4 F
π


T

ãäå ∗ - ñâåðòêà, à Sx( )
ω  - ñïåêòðàëüíàÿ ïëîòíîñòü
 ðåçóëüòàòå ñâåðòêè èìååì :


1
S
( )
ω =
( )
ω ⋅
X
SX
T
T


ò.ê. S ( )
ω =
( )
ω ⋅
ω , òî â ýòîì ñëó÷àå ýòî îçíà÷àåò, ÷òî
X
SX
W
( )
T
B

,
0
k



0
1


S ( )
ω =
∑ ( )
ω ⋅ 1
 , (∗)
X
SX

T
, k = 0
k − ∞

 F
2
Îòêóäà, ïðèìåíÿÿ ñâîéñòâî äëÿ (∗) âî âðåìåííîé îáëàñòè, ïîëó÷èì:

ω t
x t
( ) = xx t
( )∗

Φ [1W (ω ]) =
t
( )δ t
(

− k t
∆ )∗S ( 0 ), ãäå
ω

0 =
F
T
B
a
2
k = −∞
Îêîí÷àòåëüíî ïîëó÷èì

si (
n 2 F
π t
( − k t
∆ )
)
x t
( ) =
x k
(
t)
∑ ∆ 2 F
π t
(
= −∞
− k t
∆ )
k
3.  Òåîðåìà Êîòåëüíèêîâà ñïðàâåäëèâà è äëÿ ïðîöåññîâ, èìåþùèõ ôèíèòíûé
ñïåêòð äëÿ ìãíîâåííûõ ÷àñòîò â ïðåäåëàõ  ∈[,F
1
2 ] .  ýòîì ñëó÷àå øàã
äèñêðåòèçàöèè ïî Êîòåëüíèêîâó ðàâåí  ∆t = F
.
2 − F1

45
4.  Åñëè ñïåêòð ðåàëüíîãî ïðîöåññà íå îãðàíè÷åí ïîëîñîé ÷àñòîò èëè ïðîöåññ ñ
ôèíèòíûì ñïåêòðîì äèñêðåòèçèðóåòñÿ íà êîíå÷íîì èíòåðâàëå, ò.î.
N 2
(
x )
t =
(
x k
)
t
∑ ∆ ⋅Sa2 F
π ⋅ (t− k∆ )
t
k
N
=− 2
N
N


ãäå  t ∈ −
t
∆ ,
t





2
2
T
=
+1 = FT
2
+1 >> 1
t

òî âîññòàíâëåíèå ïðîöåññà ñ ïîìîùüþ êîíå÷íîãî ðÿäà ñ óêàçàííûì øàãîì
ïðèâîäèò ê îòíîñèòåëüíîé êâàäðàòè÷åñêîé ïîãðåøíîñòè âèäà:

2


 SX (ω) dω
∫2
 πF

2
 •
 SX (ω) dω


δ2
0
=  ∞ 0G ( )
X ω dω
 ∫F
1 ∞

0

G ( )d

= 2
X ω
ω
G


0
G
X
F
( )
X ω dω

 ∫
 0
5.   Â ñèëó ñâîéñòâà ñèììåòðè÷íîñòè Ôóðüå-ïðåîáðàçîâàíèÿ òåîðåìà
Êîòåëüíèêîâà èìååò ýêâèâàëåíò â ÷àñòîòíîé îáëàñòè, à èìåííî, åñëè ïðîöåññ
x(t) ôèíèòåí âî âðåìåíè t∈[0,T] è òîæäåñòâåííî ðàâåí 0 âíå çàäàííîãî
âðåìåííîãî èíòåðâàëà, òî îí ïîëíîñòüþ îïðåäåëÿåòñÿ îòñ÷åòàìè ñâîåãî
÷àñòîòíîãî ñïåêòðà S ( )
ω , âçÿòûìè  ÷åðåç  èíòåðâàëû ∆ω=π/T ñ ïîìîùüþ
X
ðàçëîæåíèÿ Êîòåëüíèêîâà
 S ( )
ω =
S k
(
S
)
∑ ∆ω α T
( (ω − k
)
∆ω ).
X
 Ýòî ñëåäñòâèå èìååò âàæíîå çíà÷åíèå â îïòèêî-öèôðîâîé ãîëîãðàôèè.
3.4 Квантование дискретизированных процессов.
 ðåçóëüòàòå äèñêðåòèçàöèè èíôîðìàöèîííûé ïðîöåññ ïðåäñòàâëÿåòñÿ
ñîâîêóïíîñòüþ èíòåðïîëÿöèîííûõ âûáîðîê èëè êîýôôèöèåíòîâ îðòîãîíàëüíîãî
ðàçëîæåíèÿ.
Ïðîöåäóðà ïðåîáðàçîâàíèÿ äèñêðåòèçèðîâàííûõ çíà÷åíèé  âûáîðîê  èëè
êîýôôèöèåíòîâ â èõ öèôðîâîé ýêâèâàëåíò íàçûâàåòñÿ êâàíòîâàíèåì
äèñêðåòíîãî ïðîöåññà.

Âçàèìîñâÿçü ïðîöåäóð äèñêðåòèçàöèè è êâàíòîâàíèÿ ìîæåò áûòü â âèäå
ñëåäóþùåé ñõåìû


46
Ïðè êâàíòîâàíèè âûáîðîê ïðîöåññà äèàïàçîí íåïðåðûâíûõ âåëè÷èí  x∈X
ñ äîâåðèòåëüíîé âåðîÿòíîñòüþ ìîæåò âñåãäà ñ÷èòàòüñÿ êîíå÷íûì x∈[a,b], ïðè
ýòîì  = (− a) íàçûâàåòñÿ øêàëîé ïðîöåññà êâàíòîâàíèÿ,  ïðè÷åì  âñÿ øêàëà
X
ðàçáèâàåòñÿ íà N èíòåðâàëîâ
∆− x
i
i
i

−1
x

,
0 = a
b
N

i

 =1,N
Òîãäà  äëÿ  ∀x ∈ x
( − x
, )ñòàâèòñÿ â îäíîçíà÷íîå ñîîòâåòñòâèå åãî
i 1
i
öèôðîâîé ýêâèâàëåíò  x , i
( = 1 N
, ), ÷èñëî êîòîðûõ ðàâíî N. Ïîýòîìó ïîñëåäíÿÿ
i
âåëè÷èíà íîñèò íàçâàíèå óðîâíÿ êâàíòîâàíèÿ. Ïðè òàêîì ïðåîáðàçîâàíèè
âîçíèêàåò øóì êâàíòîâàíèÿ  ξ x
( ) = x − x  , (1) .
i
i
 áîëüøèíñòâå ïðàêòè÷åñêèõ ñèòóàöèé êâàíòîâàíèå îñóùåñòâëÿåòñÿ ñ
− a
ðàâíîìåðíûì (ïîñòîÿííûì) øàãîì êâàíòîâàíèÿ  ∆=
 , (2) .
N
ßñíî, ÷òî øóì êâàíòîâàíèÿ ÿâëÿåòñÿ ôèíèòíûì ïðîöåññîì ñ íîðìîé
m in
ξ( )
x
= sup x − x = ,
0 5 x

i
x (
∈ ,
a )
b
x −1 + x
x
i
i
=
i
2
ò.å. óðîâåíü êâàíòîâàíèÿ âûáèðàåòñÿ â ñåðåäèíå øàãà.
Äëÿ øèðîêîãî êëàññà ïðîöåññîâ, äëÿ êîòîðûõ øàã êâàíòîâàíèÿ  ∆<< σx
(ÑÊΠ ïðîöåññà), ïåðâûõ äâà öåíòðàëüíûõ ìîìåíòà øóìà êâàíòîâàíèÿ
îïðåäåëÿþòñÿ âåëè÷èíàìè
M
 [ξ x
( ) = 0
1
]

2

∆ x  , (3)
M
 [ξ x
( ) =
1
]

12
ýòî ïîçâîëÿåò ñ÷èòàòü ñ äîñòàòî÷íîé ñòåïåíüþ òî÷íîñòè, ÷òî øóì êâàíòîâàíèÿ
ïðåäñòàâëÿåò ñîáîé íåêîððåëèðîâàííóþ âåëè÷èíó, îáëàäàþùóþ ðàâíîìåðíîé
ïëîòíîñòüþ âåðîÿòíîñòè.
Äëÿ íàèáîëåå èçâåñòíîé ãàóññîâñêîé ìîäåëè ïðîöåññà ñ äîâåðèòåëüíîé
âåðîÿòíîñòüþ  P
= 0 997
,
 øêàëà êâàíòîâàíèÿ  = 6σ .  Âåëè÷èíó N-÷èñëî
ДОВ
X
X
L
óðîâíåé êâàíòîâàíèÿ ìîæíî îïðåäåëèòü ñëåäóþùèì îáðàçîì  N
X
K
=
+ =
x

1
2
ãäå k - ÷èñëî äâîè÷íûõ ðàçðÿäîâ.
46

47
L
Îòêóäà øàã êâàíòîâàíèÿ  ∆
X
x =
 .
K
2
− 1
Îáû÷íî îøèáêà êâàíòîâàíèÿ ïðåäñòàâëÿåòñÿ â ïðèâåäåííîé ôîðìå ê
øêàëå èëè ñðåäíåêâàäðàòè÷åñêîìó çíà÷åíèþ ïðîöåññà. Äëÿ ãàóññîâñêèõ
ïðîöåññîâ âåëè÷èíû îòíîñèòåëüíûõ îøèáîê êâàíòîâàíèÿ ìîæíî îïðåäåëèòü ïî
ôîðìóëàì:
σ
3
3
КВ

=

 σ
K
K
2
1
2
×

δ =
КВ
σ
1
1
КВ

=
1

K−
K
 L
 X
2(2
−1) 3 2 32
3.2 Оценка погрешности восстановления процесса по его дискретным и
цифровым представлениям в среднеквадратической метрике.
Ïåðâîíà÷àëüíî äèñêðåòèçàöèÿ è êâàíòîâàíèå áóäóò ðàññìàòðèâàòüñÿ â
ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå äëÿ 2-õ ñëó÷àåâ:
1.äåòåðìèíèðîâàííûõ ïðîöåññîâ,
2.ñëó÷àéíûõ ïðîöåññîâ.
 ïîñëåäóþùåì ðàññìàòðèâàåìûé ïîäõîä áóäåò ðàñïðîñòðàíåí è íà
ðàâíîìåðíóþ ìåòðèêó. Ïðè ýòîì áóäåì ïðåäïîëàãàòü, ÷òî ëþáàÿ èç êîîðäèíàò
{a äèñêðåòíîãî ïðåäñòàâëåíèÿ èñêàæàåòñÿ ñëó÷àéíîé àääèòèâíîé ïîìåõîé
k }k
ξ ∈ E , ÿâëÿþùåéñÿ ðåçóëüòàòîì êâàíòîâàíèÿ (øóìà êâàíòîâàíèÿ).
k
1. Ðàññìîòðèì ñëó÷àé äåòåðìèíèðîâàííûõ ïðîöåññîâ.
Çäåñü ñðåäíåêâàäðàòè÷åñêàÿ ïîãðåøíîñòü ðàâíà ñëåäóþùåìó:
2
N
1

*

d2
2
= σ
=
M
x t
∫  ( )− a Ψ t
( ) dt

 , (1)
T
C K O

T
E
K
K
k

=

T
0
*
ãäå  a
= a + ξ
K
K
K
ξ  - ðåàëèçàöèÿ øóìà êâàíòîâàíèÿ.
K
Îòêóäà
N
N
1
d2
2
= σ
=
{ x2dt − 2
M
ξ ( ) Ψ ( ) − 2∫ ∑
( )Ψ ( )
+

∫ ∑
T
C K O
E [
x t
K
] tdt
a x t
t dt
T
K
K
K
T
K
T
=0
K
T
=0
  , (2)
N
N
+
M
∫ ∑ ∑
ξ
+ ξ ξ + ξ
+
Ψ ( )Ψ ( ) }
E [
a
a
a a
K
i
K
i
i
K
K
] t tdt
i
K
i
k=0 i
T
=0
Ïðåîáðàçîâàâ (2) ñ ó÷åòîì ðàíåå ïîëó÷åííîé ìîäåëè êâàíòîâàíèÿ âèäà:
M 1

ξ
= 0
E [ K ]

2

σ

 ξ
M 2

ξ ξ
= 
E [ i K ]

0 k
, ≠ i



Ïîëó÷èì, ÷òî  σ2
2
2
=
+
 , (3)
C K O
σÏÐ
σKB
47

48
Ò.î. îáùàÿ ïîãðåøíîñòü â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå ñêëàäûâàåòñÿ èç
ïîãðåøíîñòè äèñêðåòíîãî ïðåäñòàâëåíèÿ (ìåòîäè÷åñêàÿ, äèíàìè÷åñêàÿ) è
ïîãðåøíîñòè êâàíòîâàíèÿ.
Òàê â ñëó÷àå, åñëè èìååò ìåñòî îðòîãîíàëüíîå èíòåðâàëüíîå
ïðåäñòàâëåíèå ïðîöåññà â âèäå îáîáùåííîãî ïðåäñòàâëåíèÿ Ôóðüå, ïîãðåøíîñòè
áóäóò èìåòü âèä:
N

1
σ
2
2

= P −
a2
∑ Ψ
Ï Ð
X
k
k
T

k = 0

  , (4)
N
σ
1
2
2
2

=
Ψ t
( d
) t
2

=

K B
σξ
K
γ Ô σξ

T k=0
T

 Ψ 2
2
=
t
( d
) t

k
ΨK

T

ãäå  
N
  , (5)
1
2
γ = ∑
Ô
Ψk

T k= 0

γ - ôèëüòðóþùàÿ ñïîñîáíîñòü îðòîãîíàëüíîãî áàçèñà.
Ô
1
2
 ÷àñòíîì ñëó÷àå 
Ψ
= 1,γ = N + 1.
T
K
Ô
2. Ðàññìîòðèì ñëó÷àéíûé ïðîöåññ.
 ýòîì ñëó÷àå âòîðàÿ ñîñòàâëÿþùàÿ èç (3) áóäåò àíàëîãè÷íà ðàññìîòðåííîìó
ðàíåå. Øóì êâàíòîâàíèÿ ñòàòèñòè÷åñêè íå ñâÿçàí ñ ïðîöåññîì äèñêðåòèçàöèè.
Ðàññìîòðèì ïåðâóþ ñîñòàâëÿþùóþ :
N
2
N



σ
1
1
2
=
M
X t
∫  ( )− a Ψ t
( ) dt

 M X
[
t 2
( )] dt
2
M
X t
( a
)
Ψ t
( d
) t

∫ ∑
np
X
K
K

=

+
X
X [
K ] K
T
T

K = 0

K
T
T
T
= 0

N
N

+
M
a a Ψ t
( )Ψ t
( d
) t
∫ ∑∑

X [ k
]i K
i
K = 0 i
T
= 0

(6)
Ïðè îòñóòñòâèè ñòàòèñòè÷åñêîé ñâÿçè ìåæäó óêàçàííûìè ïðîöåññàìè
èìååì
1
1
P
=
M
X t 2 dt =
B
0 dt =


2
[ ( )]
( )
σ
X
T
X
T
X
X
T
T
M [a a =
( ) ( ′) ϕ ( )ϕ ( ′)

∫ ∫
k
]
M
i
X [X
t X t ]
t
t dtdt
K
i
T T
 ñèëó ñòàöèîíàðíîñòè ïðîöåññà ïîñëåäíåå âûðàæåíèå ïðèìåò âèä:
M [a a ] =
B
t
( − t′)ϕ
t
( )ϕ t
( ′ d
) tdt′
∫ ∫
 ,
k
i
X
K
i
T T
ãäå B - êîððåëÿöèîííàÿ ôóíêöèÿ.
Ò.ê. ìíîæåñòâî {a }  -íàáîð ñëó÷àéíûõ âåëè÷èí, òî âûáèðàÿ
k k
ñîîòâåòñòâóþùèé áàçèñ {ϕ } , ìîæíî ðåãóëèðîâàòü èõ ñòàòèñòè÷åñêèå
k k
õàðàêòåðèñòèêè. Òàê â ïðàêòèêå äèñêðåòíûõ ïðåäñòàâëåíèé æåëàòåëüíî èìåòü
äåëî ñ íåêîððåëèðîâàííûìè ñïåêòðàëüíûìè ñîñòàâëÿþùèìè:
[


α2 = λ , i
X
K
K
α α
= 
 
i
K ]
M
[ ]
M

0
≠ i
λ  - ñðåäíåå çíà÷åíèå ýíåðãèè k-îé òðàíñôîðìàíòû.
k
48

49
Ïîñëåäíåå óñëîâèå âûïîëíÿåòñÿ â òîì ñëó÷àå, êîãäà èìååò ìåñòî ñëåäóþùåå
ðàâåíñòâî:
λ k
,

= i
ϕ
K
t
( ) B
t
( − t)

dtdt′ =



 , (7)
i
X
ϕk
0 k
, ≠ i

T
T
Äëÿ òîãî, ÷òîáû (7) âûïîëíÿëîñü äëÿ âñåõ k, íåîáõîäèìî è äîñòàòî÷íî, ÷òî
ϕ (t)≡ϕ (t). Ïðè ýòîì âíóòðåííèé èíòåãðàë äîëæåí áûòü ðàâåí
k
k
λ
t
( ) =
B
t
( − t)

t
( ′ d
) tdt′

K ϕ K
X
ϕK
T
Ïîñëåäíåå óñëîâèå ñîîòâåòñòâóåò ñèòóàöèè, êîãäà ϕ (t) ÿâëÿþòñÿ ñîáñòâåííûìè
k
ôóíêöèÿìè, à λ  -ñîáñòâåííûìè çíà÷åíèÿìè îðòîãîíàëüíîãî ðàçëîæåíèÿ
k
ñëó÷àéíîãî ïðîöåññà (ðàçëîæåíèå Êàðóíåíà-Ëîýâà).  ñëó÷àå
íåêîððåëèðîâàííîãî ïðîöåññà ñðåäíÿÿ ýíåðãèÿ ïðîöåññà íà èíòåðâàëå T ñ MO=0
ðàâíà

E
= M [X 2 t
( ]
) dt =
B
0
( d
) t =
2
σ =


∑λ  , (8)
X
X
X
X
K
T
T
K =1
1 ∞
2
2
Îòêóäà äèíàìè÷åñêàÿ ñîñòàâëÿþùàÿ ïîãðåøíîñòè  σ
=
− ∑
np
σX
λK .(9)
T K 1
=
ßñíî, ÷òî ïðèâåäåííàÿ ïîãðåøíîñòü ïðåäñòàâëåíèÿ
σ2
δ
np
2
=
np
σ2  , (10)
X
1
ãäå  δ2 =
B
t
( − t′)
t
( )
t
( ′ d
) tdt′
∫ ∫
 , (11)
K
2
X
ϕK
ϕ
T ϕ
K
2
K
σX T T
Çäåñü ïîñëåäíåå âûðàæåíèå ïîëó÷åíî ñ ó÷åòîì òîãî, ÷òî ìîùíîñòü k-îé
2
λ
òðàíñôîðìàíòû  σ
K
=
.
K
T
Íåîáõîäèìî îòìåòèòü, ÷òî îïòèìàëüíîå äèñêðåòíîå ïðåäñòàâëåíèå
ñëó÷àéíîãî ïðîöåññà òðóäíî ðåàëèçóåìî.  äèàïàçîíå äîñòàòî÷íî ìàëûõ
ïîãðåøíîñòåé ïðåäñòàâëåíèÿ ìåíüøå 6% (σ 2<6%) T<<τ , ò.å. êîãäà èíòåðâàë
np
kop
äèñêðåòíîãî ïðåäñòàâëåíèÿ ñòàíîâèòñÿ ñóùåñòâåííî ìåíüøå ÷åì èíòåðâàë
êîððåëÿöèè  τ  ïðàêòè÷åñêè íåêîððåëèðîâàííûå ðàçëîæåíèÿ äîñòèãàþòñÿ íà
kop
îñíîâå èñïîëüçîâàíèÿ ôóíêöèé Ëåæàíäðà è Óîëøà. Â ýòîì ñëó÷àå äëÿ
ïîëó÷åíèÿ èíæåíåðíûõ ìåòîäèê ðàñ÷åòà äèñêðåòíîãî ïðåäñòàâëåíèÿ
íîðìèðîâàííàÿ êîððåëÿöèîííàÿ ôóíêöèÿ ñòàöèîíàðíîãî ñëó÷àéíîãî ïðîöåññà

ðàçëàãàåòñÿ â ðÿä Òåéëîðà,  R ( )
τ = 1+
b
i
∑ τ , ÷òî ïîçâîëÿåò, îòáðàñûâàÿ 2-óþ è
X
i
i=1
ïîñëåäóþùèå íåíóëåâûå ñîñòàâëÿþùèå ïîãðåøíîñòè ïîëó÷àòü ïðîñòûå
ðàñ÷åòíûå ñîîòíîøåíèÿ.
Îïðåäåëèì ïðèâåäåííóþ ïîãðåøíîñòü êâàíòîâàíèÿ ïðè öèôðîâûõ
ïðåäñòàâëåíèÿõ ñëó÷àéíûõ ïðîöåññîâ.
Òàê â ñëó÷àå èíòåðïîëÿöèîííîãî ïðåäñòàâëåíèÿ
n
n
X t
( ) =
a Ψ
t
( )

=
X t
(
)Ψ t
(

− t )
K
K
K
K
K =0
K =0
49

50
t
( − t )... t
(
0
− t )
ãäå  Ψ
n
t
( − t ) =
- èíòåðïîëÿöèîííîå ðàçëîæåíèå Ëàãðàíæà.
K
K
t
(
− t )... t
(
0
− t )
K
K
n
T=t -t
n
0
σ2KB
N
1
3
2
2
2
2
γ
δ
Ê Â
=

Ψ ( )
2
=
t dt

=


K B
δKB
K
γ Ô δ

σ
Ê Â
Ê
T
2
2
X
K =0
T
ãäå k - ÷èñëî ðàçðÿäîâ.
1

Ñëåäîâòåëüíî, 
Ô
k =
⋅ ln
2 ⋅
2
2
ln
δKB∑
2 3
Øàã êâàíòîâàíèÿ  ∆a
=
δ σ .
K B
K B
X
γ Ô
 ñëó÷àå îðòîãîíàëüíîãî ðàçëîæåíèÿ ñîîòâåòñòâóþùèå ôîðìóëû áóäóò
èìåòü âèä:
σ2KB
n
1
δ
2
2
=

2
Ψ
2
=

K B
δ

σ
K B
i
T
i
X
i=0
σ2
2
K B
3
2
i
2
σKB
2
λ
δ
i
=
;
;
2
=
2
=
K B
σKB
K
σ
i
σ
i
i
2
T
X
Çäåñü σ 2 - äèñïåðñèÿ i-îé òðàíñôîðìàíòû.
i
Ñóììàðíîå êîëè÷åñòâî äâîè÷íûõ ðàçðÿäîâ ñëåäóåò îïðåäåëèòü äëÿ ñëó÷àÿ,
êîãäà îíî äîñòèãàåò ìèíèìóìà ïðè çàäàííîé ñóììàðíîé ïîãðåøíîñòè
êâàíòîâàíèÿ.
Èñïîëüçóÿ ìåòîä íåîïðåäåëåííûõ ìíîæèòåëåé Ëàãðàíæà, ìîæíî äîêàçàòü,
n
÷òî äëÿ çàäàííîé ïîãðåøíîñòè êâàíòîâàíèÿ  δ2
âåëè÷èíà  K
k
∑  áóäåò
K B ∑
i
∑ = i=0
ìèíèìàëüíà â òîì ñëó÷àå, êîãäà âñå êîîðäèíàòû êâàíòîâàíèÿ áóäóò êâàíòîâàíû
îäíèì è òåì øàãîì. Ïðè ýòîì K∑ ïðèíèìàåò çíà÷åíèå
n
n
( + 1 2
)δi
K ∑ = ∑ 1 ⋅ ln 2
= 2 ln
δ
0
⋅ 2
i
K B ∑
3.6 Методика расчета информационной производительности
дискретных интерполяционных представлений процессов
полиномами Лагранжа.
Íèæåñëåäóþùåé ìåòîäèêîé ðàññìàòðèâàþòñÿ 2 ìåòîäà èíòåðïîëÿöèîííîãî
äèñêðåòíîãî ïðåäñòàâëåíèÿ â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå ïîëèíîìàìè
Ëàãðàíæà:
1.íóëåâàÿ èíòåðïîëÿöèÿ



51
  , ∆t = T = t  - t
k-1
k
2.ëèíåéíîå èíòåðïîëÿöèîííîå ïðåäñòàâëåíèå
Âîçíèêàåò ïðîáëåìà ðàñ÷åòà èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè
äèñêðåòíîãî ïðåäñòàâëåíèÿ, êîòîðàÿ ÿâëÿåòñÿ ôóíêöèåé îòíîñèòåëüíîé
ñðåäíåêâàäðàòè÷åñêîé îøèáêè J(δ 2) = T-1(δ ).  îñíîâó ðàñ÷åòà ïîëîæåíî
np
np
îáùåå ñîîòíîøåíèå äëÿ ïðèâåäåííîé ïîãðåøíîñòè ñðåäíåêâàäðàòè÷åñêîãî
ïðåäñòàâëåíèÿ ïðè ϕ(t), ïðåäñòàâëÿþùåé ñîáîé èíòåðïîëÿöèîííóþ ôîðìóëó
(áàçèñ) Ëàãðàíæà. Ñ ó÷åòîì ýòîãî îáñòîÿòåëüñòâà, à òàêæå ðàçëîæåíèÿ
ñîîòâåòñòâóþùèõ êîððåëÿöèîííûõ ôóíêöèé â ðÿä Ìàêëîðåíà, îñíîâíûå
ðàñ÷åòíûå ñîîòâåòñòâèÿ ïðèìóò âèä

T


1


Ti
N = 0 2
:δ =

21−
R (τ)d

τ = −2 b

1
( )
np
T
X
i (
)
1
1
0
i
i


=
+



T


1
2
τ
(
)(
)
2



i +1 i + 2 −12
N
i
= 1:δ = 21− 1−
(τ) −
1−
(τ) τ = 2∑
np
[ RX ]
R
d
,
6


b T
T 

T
X


(
)(
)
1
6
1
2
0
i
i
=
+ i
i



+

2
εnp
 2
δ =
np

2
σX



b  - êîýôôèöèåíòû ðàçëîæåíèÿ êîððåëÿöèîííîé ôóíêöèè R (τ) ðÿä Òåéëîðà.
i
x
Äëÿ ðàñ÷åòà èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè äèñêðåòíîãî
ïðåäñòàâëåíèÿ ÷åðåç ïîãðåøíîñòü ïðåäñòàâëåíèÿ ïðîèñõîäèò óñå÷åíèå ïðàâûõ
÷àñòåé ñóììèðîâàíèåì (1) äî ïåðâîãî íåíóëåâîãî ÷ëåíà. ×òî ñïðàâåäëèâî äëÿ
äèàïàçîíîâ ïîãðåøíîñòè ïðåäñòàâëåíèé â ïðåäåëàõ δ ∈[0-6]%.
np

52
 íèæåñëåäóþùåé òàáëèöå ïðèâåäåíû ðàñ÷åòíûå ñîîòíîøåíèÿ äëÿ
íåêîòîðûõ ìîäåëåé èçìåðèòåëüíûõ ïðîöåññîâ äëÿ 2-õ âûøåóêàçàííûõ ñïîñîáîâ
èíòåðïîëÿöèè.
J(δ )=T-1(δ )
np
np
N
R (τ)
N=0
N=1
x
1
exp{-ατ}
α/δ 2
α/(3∗δ 2)
np
np
α
α
2
(1+ατ)exp{-ατ}
δ
3 2
δ
45 2
np
3
np
2
α
α4
3
exp{-α2τ2}
2
1
δ
4
3 2
δ2
np
10 np
4
sin(ατ)
α
α
ατ
δ
3 2np
δ
600 2
4
np
Èç ïîëó÷åííûõ ñîîòíîøåíèé âèäíî, ÷òî êàê è â ñëó÷àå îöåíêè ε-
ïðîèçâîäèòåëüíîñòè íåäèôôåðåíöèðóåìûé ïðîöåññ îáëàäàåò íàèáîëüøåé
èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòüþ äëÿ êàæäîãî èç äèñêðåòíûõ
ïðåäñòàâëåíèé. Ýòî ïîäòâåðæäàåò ìûñëü îá ýêñòðåìàëüíûõ ñâîéñòâàõ óêàçàííîãî
ïðîöåññà.
3.7 Восстановление информационных процессов по выборкам методом
наименьших квадратов. Оптимизация восстановления процесов по
интерполяционным дискретным представлениям.
Ïðè ïðåäñòàâëåíèè èíôîðìàöèîííûõ ïðîöåññîâ âûáîðêàìè {x(t )}, ãäå
k
k=0,1,…,M íà èíòåðâàëå T=t  - t  =M∆t, ãäå ∆t - øàã ïåðâè÷íîé äèñêðåòèçàöèè, à
M
0
T-èíòåðâàë äèñêðåòíîãî ïðåäñòàâëåíèÿ. Èõ âîññòàíîâëåíèå ìîæåò áûòü
ðåàëèçîâàíî ïî (M+1) âûáîðêàì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ.
Èñïîëüçîâàíèå òàêîãî ìåòîäà âîññòàíîâëåíèÿ ïîçâîëÿåò â ðÿäå ñëó÷àåâ
óìåíüøèòü âëèÿíèå øóìà êâàíòîâàíèÿ ïî ñðàâíåíèþ ñ îáû÷íûìè
îðòîãîíàëüíûìè èëè èíòåðïîëÿöèîííûìè ïðåäñòàâëåíèÿìè. Ïðè ýòîì
àïðîêñèìèðîâàííàÿ îöåíêà âîññòàíîâëåííîãî ïðîöåññà îïðåäåëÿåòñÿ âåëè÷èíîé
M
X( )
t =
b
( )
t
∑ Ψ  , (1)
k
k
k=0
ãäå êîýôôèöèåíò b  âûáèðàåòñÿ òàê, ÷òîáû êâàäðàò ñðåäíåêâàäðàòè÷åñêîãî
k
îòêëîíåíèÿ âîññòàíîâëåííîãî ïðîöåññà îò èñõîäíîãî äèñêðåòíîãî áûë
ìèíèìàëüíûì, ò.å.
M
1
d 2 =
∑[x t( −
)
x t
( ) → m in  , (2)
T
k
k
]
M + 1 k=0
Ïîñëåäíåå óñëîâèå íàèáîëåå ïðîñòî äîñòèãàåòñÿ ïðè âûáîðå
îðòîíîðìèðîâàííîãî áàçèñà {ψ (t)}  , äëÿ êîòîðîãî
k
k

53
M
b
=
x t Ψ t
∑ ( ) ( ) , (3)
k
i
k
i
i=0
Ïðè ýòîì ñðåäíåêâàäðàòè÷åñêàÿ ïîãðåøíîñòü äèñêðåòíîãî ïðåäñòàâëåíèÿ â
ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå ñîãëàñíî ðàíåå ïîëó÷åííûì âûðàæåíèÿì áóäåò
èìåòü âèä:
M
M
M
M
M
2
1
δ2 = 1 −
Ψ t
( ) R
t
∑∑
( − t Ψ
)
t
( d
) t+
R
t
∑∑∑ ( − t Ψ
)
t
(
Ψ
)
t

( ). (4)
np
i
X
i
K
X
i
j
K
i
K
j
T
T
k=0 i=0
T
k=0 i=0 j=0
Ðàçëàãàÿ êîððåëÿöèîííóþ ôóíêöèþ èç (4) â ðÿä Òåéëîðà è îãðàíè÷èâàÿñü
ïåðâûì íåíóëåâûì âûðàæåíèåì â ïðàâîé ÷àñòè (4), ìîæíî àíàëîãè÷íî ïîëó÷èòü
èíôîðìàöèîííóþ ïðîèçâîäèòåëüíîñòü ïðîöåññà ïðè äàííîì äèñêðåòíîì
ïðåäñòàâëåíèè.
Ïåðåéäåì ê ôîðìóëèðîâêå çàäà÷è îïòèìèçàöèè èíòåðïîëÿöèîííîãî
äèñêðåòíîãî ïðåäñòàâëåíèÿ, êîòîðàÿ èìååò äâîéñòâåííûé õàðàêòåð.
1.  Íàéòè ïðè T=const òàêóþ èíòåðïîëÿöèîííóþ ôóíêöèþ
Ψ(1 − t) =
t − t =
t k = N
K
Ψ (
)
opt
k
Ψ ( ),
0,
k
; äëÿ êîòîðîãî âûïîëíÿëîñü áû óñëîâèå
δ 2→min.
ïð
2.  Ïðè δ 2=const íàéòè òàêîé æå îïòèìàëüíûé áàçèñ, ïðè êîòîðîì T→max.
ïð
Èññëåäîâàíèÿ ïðîâåäåííûå ðÿäîì àâòîðîâ ïîêàçûâàþò, ÷òî äëÿ
ñòàöèîíàðíûõ èíòåðïîëÿöèîííûõ ïðîöåññîâ îïòèìàëüíàÿ èíòåðïîëèðóþùàÿ
ôóíêöèÿ  ψ (t) äîëæíà ïðåäñòàâëÿòü ñîáîé ëèíåéíóþ êîìáèíàöèþ âçâåøàííûõ
k
çíà÷åíèé êîððåëÿöèîííîé ôóíêöèè âîññòàíîâëåíèÿ çíà÷åíèÿ â óçëàõ
èíòåðïîëÿöèè
N
Ψ t
( ) =
R
t
(
∑α
− t ) , (5)
K
ki
X
i
i=0
Òàê, íàïðèìåð, äëÿ îïðåäåëåíèÿ âîññòàíîâëåííûõ çíà÷åíèé ïðîöåññà ïî
èíòåðïîëÿöèîííûì âûáîðêàì âèäà N
(
x )
t =
(
x t )
(t

Ψ
− t )
k
opt
k
k=0
äëÿ N=1 è ôèêñèðîâàííîãî èíòåðâàëà äèñêðåòèçàöèè T=t - t  îïòèìàëüíûé

0
èíòåðïîëÿöèîííûé áàçèñ ïðèìåò âèä

R
t
( − t )
0
− R T
(
R
)
t
( − t )
Ψ
X
X
X
1
t
( − t )
0
=
opt

1 − R 2 T
( )
X

 , (6)
R
t
( − t )
1
− R T
(
R
)
t
( − t )
Ψ
X
X
X
0
t
( − t )
1
=
opt

1 − R 2 T
( )
X

Ìèíèìàëüíàÿ ïîãðåøíîñòü äèñêðåòèçàöèè ïðåäñòàâëåíèÿ
R
T
2
(
)
δ
X
2
2
= 1−
 , (7)
npm in
1 − R
T
( )
X
3.8 Методика расчета информационной производительности
дискретных ортоганальных представлений процессов функциями
Лежандра и Уолша.
 ñîîòâåòñòâèè ñ ðàíåå ïîëó÷åííûì ðåçóëüòàòîì äëÿ ïîãðåøíîñòåé
äèñêðåòíîãî ïðåäñòàâëåíèÿ δ ∈[0÷6]% è T<<τ  êîýôôèöèåíòû ðàçëîæåíèÿ ïî
np
k
îðòîãîíàëüíûì áàçèñàì äëÿ áîëüøèíñòâà ðàññìîòðåííûõ ïðîöåññîâ ÿâëÿþòñÿ
íåêîððåëèðîâàííûìè. Îñîáåííî ñòðîãî çòî âûïîëíÿåòñÿ ïðè îðòîãîíàëüíûõ

54
äèñêðåòíûõ ðàçëîæåíèÿõ ïðîöåññîâ ïî ôóíêöèÿì Ëåæàíäðà è Óîëøà. Â ýòîì
ñëó÷àå ïîãðåøíîñòü äèñêðåòíîãî ïðåäñòàâëåíèÿ îïðåäåëÿåòñÿ âåëè÷èíîé
N
δ2 = 1− ∑  , (1)
np
δi
i=0
ãäå
T
T
2
2
1
δ2 =
R
t
( − t′)
t
( )
t
( ′ d
) tdt′
∫ ∫
 , (2)
i
X
ϕi ϕi
T −T −T
2
2
Òàê â ÷àñòíîñòè äëÿ îðòîãîíàëüíûõ äèñêðåòíûõ ïðåäñòàâëåíèé ïî
Ëåæàíäðó, ãäå ñîîòâåòñòâóþùèé îðòîãîíàëüíûé áàçèñ ðàâåí

ϕ
 ( )
t = 1
0


t
ϕ ( )
t

= 2 3
1
T

2

5 
t

ϕ ( )
t

=
12

− 1
2
2

2
T



ãäå N-ïîðÿäîê ðàçëîæåíèÿ,

55
èíôîðìàöèîííàÿ ïðîèçâîäèòåëüíîñòü áóäåò èìåòü âèä:
J (δ ) = T −1(δ )
g
np
np
N
R
( )
τ
N=0
N=1
X
α

1
exp{-ατ}
δ
3 2
15 2
δ
np
np
α
α
2
(1+ατ)exp{-ατ}
2
δ
3 2
δ
105 2
3
np
np
Sin(
)
ατ
α
α
3
ατ
δ
3 np
δ
3600 2
4
np
 ñîîòâåòñòâèè ñ âûøåðàññìîòðåííîé ìåòîäèêîé äèñêðåòíûõ
îðòîãîíàëüíûõ ïðåäñòàâëåíèé èíôîðìàöèîííûõ ïðîöåññîâ â
ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå ðàññìîòðèì àíàëîãè÷íóþ çàäà÷ó äëÿ
îðòîãîíàïëüíûõ ôóíêöèé Óîëøà.
Ôóíêöèè Óîëøà îáëàäàþò ðÿäîì ñïåöèôè÷åñêèõ ñâîéñòâ, ïîçâîëÿþùèõ
ðåàëèçîâàòü ïðîöåäóðû äèñêðåòèçàöèè è âîññòàíîâëåíèÿ ïðîöåññîâ ñ
ôèêñèðîâàííîé òî÷êîé. Â ñèëó òîãî, ÷òî çíà÷åíèÿ ýòèõ ôóíêöèé ïðèíèìàþò
òîëüêî 2 ôèêñèðîâàííûõ çíà÷åíèÿ +1 è -1, ñóùåñòâóþò ðàçëè÷íûå ñèñòåìû
îðòîãîíàëüíîãî ðàçëîæåíèÿ Óîëøà. Ïðè ýòîì îáùèì äëÿ íèõ ÿâëÿåòñÿ äâîè÷íî-
ðàöèîíàëüíûé ïåðèîä äèñêðåòíîãî ïðåäñòàâëåíèÿ, ïðè êîòîðîì êîëè÷åñòâî
ôóíêöèé ðàçëîæåíèÿ N = 2l , ãäå l=0,1,...
Íóìåðàöèÿ (ðàíæèðîâàíèå) ôóíêöèé Óîëøà â ñèñòåìå èç N ôóíêöèé ìîæåò
ïðîèçâîäèòüñÿ ðàçëè÷íûìè ñïîñîáàìè, èç êîòîðûõ íàèáîëåå ýôôåêòèâíûìè äëÿ
èíôîðìàöèîííî-èçìåðèòåëüíûõ ïðîöåññîâ ÿâëÿþòñÿ
1. ñèñòåìû Óîëøà-Àäàìàðà (Walsh-Hadamard)
2. ñèñòåìû Óîëøà-Ïýëè (Walsh-Paley).
Ñèñòåìû ôóíêöèé Óîëøà çàïèñûâàþòñÿ â ñëåäóþùåì âèäå:
N −1
Ψ t
( ) =
d W
t
( ),
k

= 0 N
,
− 1 , (1)
K
kj
j
j=0
ãäå
T
T
T
T

 ,
1

+ j < t< −
+ j
( + )
1
W
t
( ) =
2
N
2
N

 , (2)
j
,
0
âíå
èíòå â
ð àëà
ï
(
è
ð
N ≥ )


1
Çäåñü d  - ýëåìåíòû ìàòðèöû ëèáî Àäàìàðà, ëèáî Ïýëè.
kj
1.  Àäàìàðà
H
N
= α (H )  ãäå k - ñòðîêà, l= 0 N
,
− 1
N
kj
 j - ñòîëáåö,  l= 0 N
,
− 1
H =1,  H = +
1
1
H
H
N
N
H
=
2
H
− H
N
N
+ +
ò.å. H
=
2
+ −  , ãäå ‘+’ - çíà÷åíèå êîýôôèöèåíòà +1
 ‘-’ - çíà÷åíèå êîýôôèöèåíòà -1

56
2.  Ïýëè
P
N
= α (P)
N
kj
P =1,
1
P =H
2
2
ha
α d 0
( 0
, )
h
α ad 0
( 1
,)
ha
α d 0
( 0
, )
h
α ad 0
( 1
,)
2
2
2
2
N =2
ha
α d 0
( 0
, )
h
α ad 0
( 1
,) − ha
α d 0
( 0
, ) − h
α ad 0
( 1
,)
2
2
2
2
P
P
= =
2N
4
ha
α d 10
( , )
h
α ad 1
( 1
,)
ha
α d 10
( , )
h
α ad 1
( 1
,)
2
2
2
2
ha
α d 10
( , )
h
α ad 1
( 1
,)
− ha
α d 10
( , )
− h
α ad 1
( 1
,)
2
2
2
2
+ + + +
+ + − −
P
=
4
+ − + −
+ − − +
Îðòîãîíàëüíàÿ ñèñòåìà ôóíêöèé Óîëøà îïðåäåëÿåòñÿ ñîîòíîøåíèåì
N −1
N,
j

= l
∑α α = 
 , (3)
kj
kl
0,
j
0
≠ l
k=

Èç (1) è ðàíåå ïîëó÷åííûõ ïðåäñòàâëåíèé äëÿ äèñêðåòíûõ ïðåäñòàâëåíèé
ïîãðåøíîñòü äèñêðåòíîãî ïðåäñòàâëåíèÿ â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå èìååò
âèä:
T
T
N 1
2
2

N 1

N 1
1

δ2 = 1−
R
t

(
− t )
W
t
( )
W
t
(
d
) t dt
∫ ∫


=
np
X
1
2
αkj j 1
αki i
T
2
1
2
k=0 −T
−T
j=0
i=0
2
2
 , (4)
T
T
2
2N
2N
N
= 1−
R
t
(
− t d
) t dt
∫ ∫
2
X
T
1
2
1
2
−T
−T
2N
2N
×òî ñîîòâåòñòâóåò îðòîãîíàëüíîìó äèñêðåòíîìó ïðåäñòàâëåíèþ ïðîöåññîâ ïî
ôóíêöèåé Ëåæàíäðà íóëåâîãî ïîðÿäêà. Èíôîðìàöèîííàÿ ïðîèçâîäèòåëüíîñòü
òàêîãî ïðåäñòàâëåíèÿ ñòðîèòñÿ ñ ó÷åòîì âûøå ñäåëàííîãî çàìå÷àíèÿ àíàëîãè÷íî
îöåíêå èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè ïî Ëåæàíäðó.
3.9 Методика расчета информационной производительности
дискретных интерполяционных и ортоганальных представлений
процессов в равномерной метрике.
Îïðåäåëèì âçàèìîçàâèñèìîñòü øàãà âðåìåííîé äèñêðåòèçàöèè è
ìàêñèìàëüíîé îøèáêè äèñêðåòíîãî ïðåäñòàâëåíèÿ íà ïðèìåðàõ ñòóïåí÷àòîé è
ëèíåéíîé èíòåðïîëÿöèÿõ.
Íàèáîëåå óíèâåðñàëüíûì ìåòîäîì îöåíêè èíôîðìàöèîííîé
ïðîèçâîäèòåëüíîñòè äèñêðåòíîãî ïðåäñòàâëåíèÿ ïðè ðàâíîìåðíîì êðèòåðèè
ïðèáëèæåíèÿ íà èíòåðâàëå èíòåðïîëÿöèè ÿâëÿåòñÿ îöåíêà, îñíîâàííàÿ íà
îïðåäåëåíèè ìàêñèìàëüíîãî çíà÷åíèÿ äèñïåðñèè èíòåðïîëÿöèè, ò.å.
D
=
D t
m ax ( ) , (1)
m ax
t [
∈ 0 T
, ]

57
Ýòà îöåíêà ïîýâîëÿåò äëÿ èçâåñòíîãî çàêîíà ðàñïðåäåëåíèÿ ïðîöåññà èëè ïðè
îòñóòñòâèè ïîäîáíîé èíôîðìàöèè ñâÿçàòü çíà÷åíèå ìàêñèìàëüíîé îøèáêè
äèñêðåòíîãî ïðåäñòàâëåíèÿ ñ íàèáîëüøèì ñðåäíåêâàäðàòè÷åñêèì îòêëîíåíèåì
âèäà
ε
↔ D   (2).
np
m
m
 íàèáîëåå îáùåì ñëó÷àå òàêàÿ çàâèñèìîñòü îïðåäåëÿåòñÿ èçâåñòíûì
íåðàâåíñòâîì ×åáûøåâà,èç êîòîðîãî ñëåäóåò óñëîâèå:
D
ε
m

 , (3)
npm
1 − pĠΠÂ
p  - çàäàííàÿ äîâåðèòåëüíàÿ âåðîÿòíîñòü.
äîâ
 ñëó÷àå íîðìàëüíîãî çàêîíà ðàñïðåäåëåíèÿ ïðè äîâåðèòåëüíîé âåðîÿòíîñòè
p =0,997, óäîâëåòâîðÿþùåé ïðàâèëàì 3σ, (3) ïðèîáðåòàåò âèä:
äîâ
ε
= 3 D  , (4)
np
m
m
Íà îñíîâàíèè (4) ñ ó÷åòîì ðàíåå ïîëó÷åííûõ âûðàæåíèé ïîãðåøíîñòè
íåòðóäíî çàêëþ÷èòü, ÷òî
1. äëÿ íóëåâîé èíòåðïîëÿöèè (N=0) äëÿ âñåõ ðàíåå ðàññìîòðåííûõ ìîäåëåé
ïðîöåññîâ ìàêñèìàëüíàÿ äèñïåðñèÿ äîñòèãàåòñÿ íà êîíöå èíòåðâàëà
äèñêðåòèçàöèè
D
= D(t=T) , (5)
max
ε2
2
= 18
1 − R
T
( )  , (6)
np
σX [
X
m
]
2.  äëÿ N=1
D
= D(t=T/2) , (7)
max
3
1
ε


2
2
= 18
− R T
(
) +
− R T
( )  , (8)
np
σX
X
X
m
4
2
4




Ò.î., èñïîëüçóÿ èçâåñòíûå ðàçëîæåíèÿ êîððåëÿöèîííîé ôóíêöèè
ïðîöåññîâ â ðÿä Ìàêëîðåíà, ìîæíî äëÿ âûøåóêàçàííûõ ñëó÷àåâ ïîëó÷èòü
ñëåäóþùèå àíàëèòè÷åñêèå çàâèñèìîñòè:

δ2
i
= −18 b T

 , (9)
np
i
m
i 1
=
i

−2
2
− 1
δ2
i
= 18
b T

 , (10)
np
i
i
m
2
i 1
=
b  - êîýôôèöèåíòû ðÿäà Ìàêëîðåíà êîððåëÿöèîííîé ôóíêöèè ïðîöåññà.
i
Îòêóäà îöåíêà èèíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè äèñêðåòíîãî
ïðîöåññà ñòðîèòñÿ â ðåçóëüòàòå óñå÷åíèÿ ðÿäîâ (9) èëè (10) äî ïåðâîãî
íåíóëåâîãî ÷ëåíà.
Íèæå ïðèâåäåíà òàáëèöà ñ îñíîâíûìè ðåçóëüòàòàìè òàêèõ ðàñ÷åòîâ äëÿ
ðÿäà ìîäåëåé èíôîðìàöèîííûõ ïðîöåññîâ.
T-1[îòñ÷åò/åä.âðåìåíè]
N
R
( )
τ
N=0
N=1
X
α

1
exp{-ατ}
18 2
δ
2 2
δ
np
np
m
m
α
3
2
(1+ατ)exp{-ατ}
3 2
δ
α3
np
δ
4 2
m
npm

58
3α 2
27
3
exp{-α2τ2}
α4
2
δ
δ
16 2
np
np
m
m
Sin(
)
ατ
3
9
4
ατ
α
α
δ
4
δ
320 2
np
np
m
m
Ïðèâåäåííûå ðåçóëüòàòû òàêæå ñâèäåòåëüñòâóþò î ñóùåñòâåííûõ
ðàçëè÷èÿõ èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè ïðîöåññîâ è ýêñòðåìàëüíîñòè
ïðîöåññîâ Áàòòåðâîðòà.
Äëÿ îðòîãîíàëüíîãî ðàçëîæåíèÿ ïðîöåññîâ â ðàâíîìåðíîé ìåòðèêå ïðè
ðåãóëÿðíîé äèñêðåòèçàöèè ïîãðåøíîñòü ðàâíîìåðíîãî ïðèáëèæåíèÿ äëÿ
ðåàëèçàöèè ïðîöåññà èìååò âèä:
N
ε
= sup x t
( ) −
a T
( )
t

( )  , (1)
np
i
ϕi
m
t [
∈ 0 T]
i=0
,
ãäå  a T
( ) =
x t
( )
t
( d
) t

ϕ
, (2)
i
i
T
a  - êîýôôèöèåíòû îðòîíîðìèðîâàííîãî ðàçëîæåíèÿ ïî Ëåæàíäðó.
i
Ò.ê. ïîëèíîìû Ëåæàíäðà îáëàäàþò ñâîéñòâîì, ÷òî èõ ìàêñèìàëüíûå
çíà÷åíèÿ äîñòèãàþòñÿ íà ãðàíèöàõ èíòåðâàëà äèñêðåòèçàöèè íåçàâèñèìî îò
çíà÷åíèé N, òî ýòî ïîçâîëÿåò ñ ïðèåìëèìîé èíæåíåðíîé äîñòîâåðíîñòüþ
ïîñòðîèòü îöåíêè èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè òàêèõ ïðåäñòàâëåíèé,
îñíîâûâàÿñü íà ðàçëîæåíèÿõ äèñêðåòèçèðóåìîãî ïðîöåññà â ñîîòâåòñòâóþùèé
ðÿä Ìàêëîðåíà (óñå÷åííîå ðàçëîæåíèå) âèäà (3):
n

x(i (
)
)
x
 t
( ) =
ti

0
i!

 , (3)
i=0
n > N


Èç êîòîðîãî ñëåäóåò, ÷òî
n
x t
( ) =
a T
( )
t
( )

ϕ
 , (4)
i
i
i=0
Íàïðèìåð, ïðåäïîëàãàÿ, ÷òî n=N+2, íåòðóäíî îïðåäåëèòü ïîãðåøíîñòü
ðàâíîìåðíîãî ïðèáëèæåíèÿ â âèäå:
ε
= sup a
T
( )
t
+
( )
( )
( )
1
+1
+ a
T
t
+2
+2
=
np
N
ϕN
N
ϕN
m
t [
∈ 0 T
, ]
 , (5)
= a
T
(
s
) up
t
+
( )
(
s
) up
( )
1
+1
+ a
T
t
N
ϕN
N +2
ϕN+2
t [
∈ 0 T
, ]
t [
∈ 0 T
, ]
 ñèëó âûøå óêàçàííîãî ñâîéñòâà ïîëèíîìîâ Ëåæàíäðà, ïðè êîòîðîì äëÿ
âñåõ ÷åòíûõ ñòåïåíåé i=2,4…ϕ (t=0) =ϕ (T)=1 è íå÷åòíûõ ñòåïåíåé, äëÿ êîòîðûõ
i
i
ϕ (t=0) =-1, ϕ (T)=1, öåëåñîîáðàçíî ðàññìîòðåíèå äâóõ ñëó÷àåâ:
i
i
1. a
(T) è a
(T) èìåþò îäèíàêîâûå çíàêè
N+1
N+2
2. a
(T) è a
(T) èìåþò ïðîòèâîïîëîæíûå çíàêè.
N+1
N+2
Äëÿ óêàçàííûõ ñëó÷àåâ çíà÷åíèÿ ïîãðåøíîñòè ðàâíû
1. ε
= a
(T) + a
(T)
ÏÐm
N+1
N+2
2. ε
= a
(T) - a
(T)
ÏÐm
N+1
N+2
Ò.î. íå óìîëÿÿ îáùíîñòè ðàññóæäåíèé è ïðåäïîëàãàÿ, ÷òî N+1-÷åòíîå, à N+2-
íå÷åòíîå, íåòðóäíî çàêëþ÷èòü, ÷òî îøèáêà äèñêðåòèçàöèè ïðåäñòàâëåíèÿ áóäåò
äîñòèãàòü ñâîåãî ìàêñèìóìà â ñîîòâåòñòâóþùèõ äâóõ ñëó÷àÿõ:

59
N
N

ε
i
( )
0 = x( )
0 −
a T
( ) ( )
0

= x( )
0 −
(
∑ − )
1 a T
( )
np
i
ϕi
i

i 1
=
i 1

=
 , (6)
N
N
ε T
( ) = x T
( ) −
a T
( )
T
( )

= x T
( ) −
a T
( )

np
i
ϕi
i

i 1
=
i 1

=
Îòêóäà ñëåäóåò, ÷òî
N


δ2
2
= 9 1
 − ∑
 , (7).
np
δi
m

i 1
=

Çäåñü δ 2- äèñïåðñèÿ êîîðäèíàò a (T) íîðìèðîâàííîãî ïðîöåññà X(t).
i
3.10  Методика расчета оптимальных цифровых представлений
процессов.
Îäíîé èç êëþ÷åâûõ çàäà÷ èíôîðìàöèîííûõ ñèñòåìî-òåõíè÷åñêèõ
ðàñ÷åòîâ ÿâëÿåòñÿ çàäà÷à îïðåäåëåíèÿ ìèíèìàëüíîé èíôîðìàöèîííîé
ïðîèçâîäèòåëüíîñòè öèôðîâîãî ïðåäñòàâëåíèÿ ïðîöåññîâ ïðè çàäàííîé ïîëíîé
ïîãðåøíîñòè. Ñ ó÷åòîì ðàíåå ââåäåííûõ âíóòðåííèõ õàðàêòåðèñòèê öèôðîâîãî
ïðåäñòàâëåíèÿ ïðîöåññîâ êðèòåðèåì ýôôåêòèâíîñòè ÿâëÿåòñÿ âåëè÷èíà (1) ïðè
îãðàíè÷åíèè íà ñóììàðíóþ ïîãðåøíîñòü öèôðîâîãî ïðåäñòàâëåíèÿ
K


J

= m in
opt
,
T
δ δ
 , (1)
np
K B

δ∑ = F δ
(
δ
,
)
np
K B

Õàðàêòåðèñòèêà (1) íîñèò íàçâàíèå ëîêàëüíî- îïòèìàëüíîé
õàðàêòåðèñòèêè èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè ïðîöåññîâ â óñëîâèÿõ
îãðàíè÷åíèé íà ñïîñîá âûáðàííîãî äèñêðåòíîãî ïðåäñòàâëåíèÿ. Ò.î.
îïòèìèçàöèÿ ñâîäèòñÿ ê çàäà÷å âûáîðà ñîîòíîøåíèÿ ìåæäó ïîãðåøíîñòÿìè
äèñêðåòèçàöèè è êâàíòîâàíèÿ, ðåøåíèå êîòîðîé â ñëó÷àÿõ èíæåíåðíîãî
ïðîåêòèðîâàíèÿ ðåøàåòñÿ ìåòîäîì ñåòî÷íîãî ïðîãðàììèðîâàíèÿ.
Ðàññìîòðèì ìàòåìàòè÷åñêèå ôîðìóëèðîâêè óêàçàííûõ çàäà÷ íà ïðåäìåò
èíòåðïîëÿöèîííûõ äèñêðåòíûõ ïðåäñòàâëåíèé Ëàãðàíæà â
ñðåäíåêâàäðàòè÷åñêîé èëè ðàâíîìåðíîé ìåòðèêàõ. Ïðè îïòèìèçàöèè öèôðîâîãî
ïðåäñòàâëåíèÿ öåëåñîîáðàçíî èñïîëüçîâàòü íîðìèðîâàííûå çíà÷åíèÿ
èíôîðìàöèîííûõ ïðîèçâîäèòåëüíîñòåé äèñêðåòíûõ ïðåäñòàâëåíèé,
ïîçâîëÿþùèõ ôîðìèðîâàòü íîìîãðàììó äëÿ èíæåíåðíûõ ðàñ÷åòîâ. Ñ ýòîé öåëüþ
ââîäèòñÿ êîýôôèöèåíò èçáûòî÷íîñòè ν:
∆t
1
ν =
k
=
 , (2)
T
T
2 Fk
çäåñü T - èíòåðâàë äèñêðåòíîãî ïðåäñòàâëåíèÿ;
∆t - èíòåðâàë Êîòåëüíèêîâà (F  - ÷àñòîòà Êîòåëüíèêîâà, îáåñïå÷èâàþùàÿ 50%
k
k
çíà÷åíèå ïîãðåøíîñòè äèñêðåòèçàöèè ïðîöåññà).
Äëÿ ïðîöåññîâ Áàòòåðâîðòà ñóùåñòâóåò ðàâåíñòâî α = 2πF  .
k
 ñèëó ýòîãî äëÿ ïðîöåññîâ Áàòòåðâîðòâ âåëè÷èíà (2) ðàâíà
π
ν =
 , (3)

Ò.î. äëÿ ïîëó÷åíèÿ íîðìèðîâàííîé èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè
ïðîöåññîâ Áàòòåðâîðòà íåîáõîäèìî èñõîäíóþ âåëè÷èíó ïðîèçâîäèòåëüíîñòè
óìíîæèòü íà π/α, ò.å.

60
π
J = J
ν
 , (4)
T α
Ïåðåéäåì ê ôîðìóëèðîâêå çàäà÷è îïòèìèçàöèè öèôðîâîãî ïðåäñòàâëåíèÿ
èíôîðìàöèîííûõ ïðîöåññîâ.
1.  Äëÿ ñðåäíåêâàäðàòè÷åñêîãî êðèòåðèÿ ðàññìîòðèì äâà ñëó÷àÿ (N=0 è N=1).
2.  N=0

1 T
3
2
2
2




δ
2 1
R (t)dt
∑ = δ np + δ KB −  −
 . (5)
T ∫ X
 + 2k 


2
0



Îòêóäà ñ ó÷åòîì àïðîêñèìàöèè êîððåëÿöèîííîé ôóíêöèè R  è íîðìèðîâêè âèäà
x
(4) èìååì
3
2
 2  π

δ∑ = δ
 . (6)
np  


ν + 2
2 k 
Òîãäà çàäà÷à îïòèìèçàöèè ôîðìóëèðóåòñÿ ñëåäóþùèì îáðàçîì
1

J
= Jν = kν →

m in
2F
T
 k

 (7)
3
π
2
2

+

δ
δ
0

.
22k
np  
ν − ∑ =

Äëÿ ðåøåíèÿ çàäà÷è (7) ñîñòàâëÿåòñÿ ôóíêöèÿ Ëàãðàíæà:

3
2
2
 π

F k
( , ,
ν )
λ = νk + λ δ∑ − δ
0  . (8)
np
k

 


ν − 2
2

 =
Íàõîäÿ ÷àñòíûå ïðîèçâîäíûå èç (8) è ïðèðàâíèâàÿ èõ ê íóëþ, ïîëó÷èì ñèñòåìó
èç 3-õ òðàíñöèäåíòíûõ óðàâíåíèé.
ÏÐÈÌÅÐ. Äëÿ ïðîöåññà Áàòòåðâîðòà 1-îãî ïîðÿäêà

3
2
π

F k
( , ,
ν )
λ = νk + λ δ∑ − −
0
k


ν
2
2

 =
Èç ðåøåíèÿ óêàçàííûõ óðàâíåíèé ìîæíî ïîëó÷èòü 3 ôóíêöèè:

δ2
γ
KBopt
=
(
)
2
= f
K
opt

δ
1
opt
ПРopt

K = f
2
,
opt
2 (γ opt δ∑ )
 , (9)

ν = f
2
,
opt
3 (γ opt δ∑ )



á) N = 1

2
ε
 2
2
2
∑ = σ np +
σ

3
K B

 , (10)
2
3
2
2
 π
ε∑ = σ

np  

ν + ⋅ 2
3 2 k
(10) òðàíñôîðìèðóåòñÿ â ôóíêöèþ Ëàãðàíæà àíàëîãè÷íóþ (8).
3.  Äëÿ ðàâíîìåðíîãî êðèòåðèÿ.
N = 0,1

61
ε∑M = εnp + ε

K B
m
m

3  , (11)
2
 π
δ
 ∑M = δnp
2
m 

ν +

k
2
Äàëåå çàäà÷à îïòèìèçàöèè ñòðîèòñÿ àíàëîãè÷íûì îáðàçîì ïóòåì ôîðìèðîâàíèÿ
ôóêöèè Ëàãðàíæà.
Äëÿ ïðèìåðà â íèæåñëåäóþùåé òàáëèöå ïðèâåäåíû çíà÷åíèÿ γ  è îòíîøåíèÿ
opt
äëÿ 2-õ âèäîâ ïðîöåññîâ äëÿ ñðåäíåêâàäðàòè÷åñêîãî êðèòåðèÿ è N=1.
γopt
δ∑
R (τ)=exp{-α
ατττ}
sin ατ
x
R ( )
τ =
X
ατ
10-3
0.53
0.25
10-2
0.57
0.43
10-1
1.1
0.67
Iν γ
( = )
1
Iν γ
( = γ
)
opt
δ∑
R (τ)=exp{-α
ατττ}
sin ατ
x
R
( )
τ =
X
ατ
10-3
1.65
1.06
10-2
1.57
1.04
10-1
1.4
1.02
Èç òàáëèöû âèäíî, ÷òî èíôîðìàöèîííàÿ ïðîèçâîäèòåëüíîñòü ìîæåò
ñóùåñòâåííî îòëè÷àòüñÿ â çàâèñèìîñòè îò âûáîðà ñîîòíîøåíèÿ, ñîñòàâëÿþùèõ
ïîãðåøíîñòåé äèñêðåòèçàöèè è êâàíòîâàíèÿ. Îäíàêî ñëåäóåò çàìåòèòü, ÷òî
çíà÷åíèå èíôîðìàöèîííîé ïðîèçâîäèòåëüíîñòè íåçíà÷èòåëüíî ìåíÿåòñÿ îò
ñóììàðíîé ïîãðåøíîñòè öèôðîâîãî ïðåäñòàâëåíèÿ ïîãðåøíîñòè, ÷òî ïîçâîëÿåò
âûáèðàòü ïàðàìåòð γ ôèêñèðîâàíî, èñõîäÿ èç äîïîëíèòåëüíûõ òðåáîâàíèé
ïðîñòîòû òåõíè÷åñêîé ðåàëèçàöèè è ò.ä.
3.11  Методика сравнения эффективности цифровых регулярных
представлений процессов.
Íàèáîëåå ÷àñòî ñòåïåíü ýôôåêòèâíîñòè ðåàëüíûõ öèôðîâûõ
ïðåäñòàâëåíèé èíôîðìàöèîííûõ ïðîöåññîâ îöåíèâàåòñÿ îòíîñèòåëüíî
ñîîòâåòñòâóþùåé ε-ïðîèçâîäèòåëüíîñòè â âèäå:
I
,
G
ν (γ real δ )
ην =

 , (1)
1 H δ∑ (X( )t)
F
2 k
ãäå çíàê G îçíà÷àåò îöåíêó ãëîáàëüíîé ýôôåêòèâíîñòè.
Íàðÿäó ñ (1) òàêæå èñïîëüçóåòñÿ ïîêàçàòåëü èíôîðìàöèîííîé èçáûòî÷íîñòè ïî
Øåíîíó
1
RG
1
ν =
− G  , (2)
ην

62
Íî â áîëüøèíñòâå ñëó÷àåâ âû÷èñëåíèÿ (1) èëè (2) íå ïðåäñòàâëÿþòñÿ
âîçìîæíûì, ñëåäîâàòåëüíî èñïîëüçóþòñÿ ñîîòâåòñòâóþùèå ëîêàëüíûå
ïîêàçàòåëè ýôôåêòèâíîñòè
I
,
L
ν (γ real δ )
ην =

 , (3)
ν
I (γ ,
opt δ ∑ )
1
R Lν = 1 −
 , (4)
L
ην
ãäå îïòèìàëüíàÿ èíôîðìàöèîííàÿ ïðîèçâîäèòåëüíîñòü îïðåäåëÿåòñÿ äëÿ òîãî æå
ñïîñîáà äèñêðåòíîãî ïðåäñòàâëåíèÿ ïðîöåññà.
 íèæåñëåäóþùèõ òàáëèöàõ ïðèâåäåíû çíà÷åíèÿ (1) äëÿ äâóõ
èíòåðïîëÿöèîííûõ äèñêðåòíûõ ïðåäñòàâëåíèé ïðîöåññîâ Áàòòåðâîðòà ïîðÿäêîâ
k=1,2,3,4,∞ â ñðåäíåêâàäðàòè÷åñêîé ìåòðèêå.
N = 0, γ = γopt
δ∑ \ K
1
2
3
4

10-1
10.92
11.04
12.96
14.48
21.8
10-2
18.2
29.8
56.4
76.8
1636
10-3
23.6
42.4
268
442
1458
N = 1, γ = γopt
δ∑ \ K
1
2
3
4

10-1
4.1
2.46
2.47
2.78
3.76
10-2
6.17
3.08
3.88
4.52
8.95
10-3
8.22
3.43
5.68
8.28
25.1
Èç àíàëèçà òàáëèöû ìîãóò áûòü ñäåëàíû âûâîäû:
1. ýôôåêòèâíîñòü èíòåðïîëÿöèîííûõ ïðåäñòàâëåíèé óìåíüøàåòñÿ ïðè
óìåíüøåíèè ñóììàðíîé ïîãðåøíîñòè öèôðîâîãî ïðåäñòàâëåíèÿ;
2.  ýôôåêòèâíîñòü ñòóïåí÷àòîé èíòåðïîëÿöèè óìåíüøàåòñÿ ñ óâåëè÷åíèåì
ïîðÿäêà ïðîöåññà;
3.  ýôôåêòèâíîñòü ëèíåéíîé èíòåðïîëÿöèè óâåëè÷èâàåòñÿ ïðè ïåðåõîäå îò k=1 ê
k=2 çà ñ÷åò óìåíüøåíèÿ êîððåëÿöèè ñîñåäíèõ îòñ÷åòîâ äèñêðåòèçèðîâàííîãî
ïðîöåññà.
ЛИТЕРАТУРА
1. Р.Галлагер. Теория информации и надежная связь. М., "Советское  радио", 1974.
2. Ю.Д.Колесник, Г.Ш.Полтырев. Курс теории информации. М., "Наука", 1982 .
3. О.Н.Новоселов, А.Ф.Фомин. Основы теории и расчета информационно-
измерительных        ситстем. М., "Машиностроение", 1991.

63

Document Outline

  • ! 


 

А также другие работы, которые могут Вас заинтересовать

4891. Аппаратное и программное прерывание 75.5 KB
  Прерывания Команды прерывания Различают два вида прерываний – аппаратные прерывания и программные прерывания. Аппаратное прерывание – это сигнал от любого устройства системы для процессора, который по этому сигналу должен обслужить д...
4892. Команды передачи управления 54.5 KB
  Команды передачи управления Порядок выполнения команд в процессорах 80х86 и 80х88 определяется содержимым регистра сегмента кода (CS) и счетчика команд (IP). Регистр CS содержит базовый адрес текущего сегмента кода, т.е. 64-килобайтного фрагмента па...
4893. Применение логических инструкций 43 KB
  Применение логических инструкций Логические команды служат для сброса или установки отдельных бит в байте или слове. Они включают булевы операторы НЕ, И, ИЛИ, исключающее ИЛИ и операцию тестирования, которая устанавливает флаги, но не изменяет значе...
4894. Механика. Молекулярная физика. Термодинамика. Конспект лекций 364.15 KB
  Механика Введение Физика изучает явления, наблюдаемые в реальном мире, и свойства материальных объектов. Эти явления и свойства мы характеризуем с помощью физических величин. Например, движение характеризуется скоростью и ускорением, свойства тел пр...
4895. Банківські операції. Навчальний посібник 1.91 MB
  Передмова Ринкова економіка країни неможлива без існування банківської системи, банків і їх діяльності, яка б максимально задовольняла вимоги й очікування клієнтів і була б стійкою до криз. У сучасному ринковому середовищі підприємства через банківс...
4896. Техника безопасности при разработке месторождений полезных ископаемых открытым способом 413 KB
  Лекции по технике безопасности при разработке месторождений полезных ископаемых открытым способом Введение Основными нормативными документами по безопасности при проектировании и разработке месторождений твердых полезных ископаемых открытым способом...
4897. Аудит налогообложения. Сущность и назначение аудиторской деятельности 536 KB
  Тема 1. Сущность и назначение аудиторской деятельности 1.История развития аудита и его значение в рыночной экономике 2.Цель и задачи аудита 3.Принципы аудита 4.Виды аудита 1.История развития аудита и его значение в рыночной экономике Аудит - одна из...
4898. Основы маркетинга. Анализ рыночной ситуации в маркетинге. Конспект лекций 857.5 KB
  Введение в маркетинг План: Маркетинг и социально-экономическое развитие страны. Сущность и основные понятия маркетинга. Краткая история маркетинга и особенности его становления в России. Маркетинг как составная часть мене...
4899. Логістика. Навчально-методичний посібник 1.15 MB
  Метою вивчення дисципліни є формування системи знань з теорії, методології, методики та організаційних основ логістичного управління ресурсними потоками в національній економіці вивчення практики логістичного обслуговування споживачів різнома...