18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

39 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

15847. Эйзенштейн сегодня 93.5 KB
  Н.Клейман О.Косолапов Н.Сиривля ЭЙЗЕНШТЕЙН СЕГОДНЯ1 Наталья Сиривля. Со дня смерти Эйзенштейна прошло уже почти пятьдесят лет но мы до сих пор не в состоянии освоить его наследие. Отношение к нему все время меняется: мы то низвергаем его то вновь водружаем на пьеде
15848. Проблема постмодерна и фильм Питера Гринауэя «Брюхо архитектора» 154.5 KB
  Г. С. Кнабе Проблема постмодерна и фильм Питера Гринауэя Брюхо архитектора Кнабе Г.С. Древо познания древо жизни. М.: РГГУ 2006 с. 331344 Предметом настоящих заметок будет духовная и социокультурная ситуация в которой сегодня находится большая ч
15849. КИНО — ИСКУССТВО ИЗОБРАЗИТЕЛЬНОЕ 56.5 KB
  Aлександр Княжинский КИНО ИСКУССТВО ИЗОБРАЗИТЕЛЬНОЕ1 Из лекции во ВГИКе Давайте начнем с самого начала... Первое к чему я вас призываю никогда не натаскивайте в павильон где вам предстоит снимать много реквизита. Что обычно происходит в процессе съемки Ас...
15850. Взрывобезопасность. Взрывозащищенное (Ex) оборудование 488 KB
  Вид взрывозащиты – специальные меры, предусмотренные в электрооборудовании с целью предотвращения воспламенения окружающей взрывоопасной среды; совокупность средств взрывозащиты электрооборудования, установленная нормативными документами.
15851. Психоанализ о кино и кино о психоанализе 86 KB
  Ксения Корбут Психоанализ о кинои кино о психоанализе Данная статья представляет собой краткий обзор психоаналитических размышлений о кино и предназначается для тех кто не только любит кино но и хочет знать как же оно воздействует на зрителей. Иначе говоря кому инт...
15852. Язык-это баланс, а фильм-сюрприз 51.5 KB
  Дэвид Кроненберг Язык это баланс а фильм сюрприз1 Журнал Стюдио Studio Франция ведет рубрику Урок кино предназначенную для массового читателя и начинающих кинематографистов. В ней выступают многие крупные режиссеры излагающие свои вз
15853. Режиссер - это хозяин 135 KB
  Дэвид Линч РЕЖИССЕР ЭТО ХОЗЯИН1 В юности я хотел стать художником. Но во время занятий живописью я снял маленький мультфильм для того чтобы показывать его без перерыва нонстоп то есть в виде кольца на объемном так называемом скульптурном эк...
15854. Титаник. Спецэффекты в фильме 627.5 KB
  Титаник. Спецэффекты в фильме Автор: Дмитрий Мороз Титаник корабльлегенда изза своего катастрофического крушения навеки оставшийся в памяти простых смертных. Титаник фильм снятый за умопомрачительные 200 млн. долларов и ставший в итоге самой кассовой картин...
15855. ПАВЕЛ ПЕЧЕНКИН: ВРЕМЯ В ДОКУМЕНТАЛЬНОМ КИНО 57.5 KB
  ПАВЕЛ ПЕЧЕНКИН: ВРЕМЯ В ДОКУМЕНТАЛЬНОМ КИНО Интересно поговорить на тему которая объявлена немного провокационно в названии нашего фестиваля новое документальное кино. Мы должны всетаки решить есть оно или нет. Поэтому у меня в программе был заявлен доклад Акс