18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

37 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

11142. Напряжения, изменяющиеся во времени 927 KB
  Напряжения изменяющиеся во времени. Явление усталости материалов. Многие детали машин работают при переменных во времени нагрузках и следовательно возникающие в них напряжения также переменны во времени. Практика машиностроения уже в середине XIX века показала что
11143. Тонкостенные осесимметричные оболочки и толстостенные цилиндры 487.5 KB
  Тонкостенные осесимметричные оболочки и толстостенные цилиндры. Тонкостенные осесимметричные оболочки Тонкостенной осесимметричной называется оболочка имеющая форму тела вращения т. е. оболочка полярно симметричная относительно некоторой оси толщина которой в
11144. Контактні напруження 324.5 KB
  Контактні напруження. Основні поняття Деформації і напруження що виникають при взаємному натисканні двох стичних тіл обмежених криволінійними поверхнями називають контактними. Внаслідок деформацій у місцях зіткнення елементів конструкцій передача тиску відбуває...
11145. Поняття, властивості і типи акцій. Процедура реєстрації випуску акцій під час створення акціонерних товариств 74.5 KB
  Поняття властивості і типи акцій. Процедура реєстрації випуску акцій під час створення акціонерних товариств У відповідністю з ч.1. ст. 3 ЗУ Про цінні папери та фондовий ринокrdquo; Акція цінний папір без установленого строку обігу що засвідчує пайову участь у статут...
11146. Англо-американська модель корпоративного управління 111.16 KB
  Англоамериканська модель корпоративного управління Особливості англоамериканської системи корпоративного управління безпосередньо повязані з особливостями акціонерної форми власності головним чином з відсутністю в англійських і американських корпораціях зна
11147. Внутрішнє середовище корпоративного управління 72.5 KB
  ТЕМА 7. Внутрішнє середовище корпоративного управління 7.1. Органи управління акціонерним товариством Реалізація корпоративних прав акціонерів здійснюється через їхню участь в управлінні товариством. Органами управління акціонерного товариства виступають: 
11148. Господарські товариства корпоративного типу 108 KB
  Господарські товариства корпоративного типу Значного поширення в процесі реформування власності корпоратизації та акціонування підприємств набули господарські товариства. Закон України Про господарські товариства визначає поняття й види господар...
11149. Господарські товариства як обєкт управління 57.5 KB
  Господарські товариства як обєкт управління План Суть господарських товариств. Порядок створення господарського товариства. Господарські товариства корпоративного типу Товариство з обмеженою відповідальністю ...
11150. Захист прав акціонерів при зміні статутного капіталу акціонерного товариства 40.5 KB
  Захист прав акціонерів при зміні статутного капіталу акціонерного товариства Зміна розміру статутного капіталу в бік збільшення або зменшення завжди істотно зачіпає майнові інтереси акціонерів товариства. Тому законодавством встановлено обовязок товариства інформ