18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

33 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

54503. ТАНЕЦЬ НА ТАНЦЮВАЛЬНОМУ МАЙДАНЧИКУ 51 KB
  Продовження розучування пісні €œШколяр Караоке. Демонстрація пісні €œОй заграйте дударики Розучування пісні Ой заграйте дударики Розповідь про танці. Вальс полька Танці як і пісні звучать за різних життєвих обставин. Ми дізналися що танці як і пісні звучать за різних життєвих обставин.
54504. Київський музей українського мистецтва 39.5 KB
  Ukraine has always been the land of art. Beautiful nature of the country, poetic folk songs, love for the country and kindness of the people encouraged Ukrainian painters to devote their works to these themes. Let’s remember some world renowned artists in today’s lesson.
54505. Свято відкриття шкільного музею з народознавства «Світлиця» 36.5 KB
  Свято відкриття шкільного музею з народознавства Світлиця Мета: залучати дітей до вивчення культури українського народу утверджувати українську духовність виховувати повагу до свого народу любов до рідного краю. Відкриття музею Світлиця. Дорогі гості Сьогодні незвичайна подія у житті нашої школи відкриття музею з народознавства Світлиця. Створенню цього музею передувала кропітка робота учителів та учнів нашої школи.
54507. Музичні стилі та напрямки 462 KB
  Мета: познайомити учнів з творами композиторів різних стилів і напрямків; розвивати в учнів інтерес до слухання класичної музики, формувати музичну культуру, вчити впізнавати особливість музичних стилів (класичного, романтичного) та сфери їх емоційного впливу на людину; виховувати естетичний смак.
54508. Музика країн Європи і світу 68 KB
  Перша зупинка станція Мелодійна друга станція Ритмічна третя станція Музичних загадок четверта станція Композиторська пята Слухацька і остання станція Виконавська. Наступна зупинка станція Мелодійна. Станція Мелодійна. Наступна зупинка станція Ритмічна.
54509. Музыка в диалоге с современностью 31.5 KB
  К какому виду музыки относятся перечисленные произведения Бетховен. Римского-Корсакова Какой стиль создал американский композитор Джордж Гершвин В чем проявляется идея синтеза музыки и литературы Какие жанры в музыке ты знаешь Какая роль музыки в опере и в балете Имя какого небесного светила послужило основой в названии произведения Л. Сделай анализ полюбившегося тебе музыкального произведения по предложенной схеме: название автор стиль жанр мелодия темп лад динамика исполнитель и его...
54510. Музично-виконавський розвиток учня-піаніста на прикладі п єс «Дитячого альбому» П.І. Чайковського 1.15 MB
  Так само ретельно позначена і динаміка. Композитор користується як поступовим її розвитком, так і раптовими змінами тонких градацій звучності. Але ніде в циклі не позначено ff-автор наказує шкалу динаміки ppp-f. В творах циклу Чайковський застосував в основному прості форми, які легко піддаються аналізу.
54511. МУЗИКА - ЦЕ ГОЛОС НАШОГО СЕРЦЯ 80 KB
  На фоні музики Маленька нічна серенада Моцарта ведучі ведуть розповідь. 1ий ведучий Я слухаю музику і уявляю собі старовинний Зальцбург батьківщину Моцарта. Ми розповімо вам друзі про життя маленького Моцарта. І якщо хтонебудь скаже що в наших розповідях більше видумки ніж правди я відповім: Що ж а музика Моцарта хіба вона не казкове чудо Про Зальцбург і деякі обставини народження нашого героя 1ий ведучий У ті дні Зальцбург був столицею маленького церковного князівства.