18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

41 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

65330. Визначення контрольованих параметрів арматури експлуатованих залізобетонних конструкцій методом локального руйнування 7.43 MB
  Завдання досліджень: узагальнити результати досліджень в області визначення контрольованих параметрів матеріалів конструкцій при різних впливах неруйнівними методами обґрунтувати необхідність проведення досліджень у цій області сформулювати передумови і припущення...
65331. ДІАГНОСТУВАННЯ РУЙНУВАННЯ КРИХКИХ ВКЛЮЧЕНЬ МЕТОДОМ АКУСТИЧНОЇ ЕМІСІЇ 5.45 MB
  Таким чином за початок руйнування матеріалу втрату його міцності можна вважати розтріскування у ньому крихких включень. Особливо актуальними вони є у випадку діагностування руйнування крихких включень оскільки останні...
65332. ОДНОФАЗНI ПЕРЕТВОРЮВАЧI ЗМIННОЇ НАПРУГИ НА ПОСТIЙНУ З КОРЕКЦIЄЮ КОЕФIЦIЄНТА ПОТУЖНОСТI ТА ГАЛЬВАНІЧНИМ ЗВ’ЯЗКОМ ВХОДУ З ВИХОДОМ 346 KB
  Останнім часом все більше електроенергії споживається за допомогою систем електроживлення СЕЖ з ланкою постійної напруги. Перспективним вирішенням зазначеної проблеми при якому також покращується комплекс техніко-економічних показників...
65333. ДЕРЖАВНИЙ КОНТРОЛЬ В СИСТЕМІ УПРАВЛІННЯ ЗАГАЛЬНООСВІТНІМИ НАВЧАЛЬНИМИ ЗАКЛАДАМИ 611 KB
  Україна проходить складний і незворотний шлях державного та громадянського становлення. Реалізується стратегія забезпечення прискореного та випереджального розвитку освіти і науки, створюються умови для самоствердження...
65334. Створення генетичних джерел групової расоспецифічної стійкості проса до сажки (Sorosporium destruens (Schlecht) Yanki) 329 KB
  Актуальність теми обумовлена обмеженістю в існуючому світовому генофонді проса генетичних джерел стійкості до окремих рас сажки та відсутністю джерел одночасної стійкості до різних груп патотипів збудника цього захворювання.
65335. Розвиток і реалізація технології, методів розрахунку й управління параметрами процесів виробництва холоднокатаних штаб із високою площинністю та якісною поверхнею 1.08 MB
  Інтенсифікація швидкісних режимів холодної прокатки й зменшення середньої товщини холоднокатаних штаб у сортаменті більшості станів посилили вплив динамічного і температурного факторів процесу на показники якості готових штаб.
65336. Обґрунтування параметрів транспортно-технологічних схем проведення дільничних виробок при розширенні меж шахтних полів 1.73 MB
  Проблема доробки запасів біля меж шахтних полів особливо актуальна для шахт Західного Донбасу, виробничі потужності яких обмежені порівняно низькою вугленосністю родовища, нерівномірним розповсюдженням робочої потужності пластів...
65337. УПРАВЛІННЯ ЯКІСТЮ ПРОФЕСІЙНОГО НАВЧАННЯ ДЕРЖАВНИХ СЛУЖБОВЦІВ В УКРАЇНІ: ТЕОРЕТИКО-ОРГАНІЗАЦІЙНИЙ АСПЕКТ 237.5 KB
  Успіх перетворень залежить насамперед від професіоналізму державних службовців їх ефективної діяльності на всіх рівнях управління практичного впровадження ними інноваційних форм і методів роботи. Вирішення проблеми можливе за умови системного підходу...
65338. ДОСЛІДЖЕННЯ ПРОЦЕСУ ТА РОЗРОБКА ТЕХНОЛОГІЇ ЕЛЕКТРОШЛАКОВОГО ЛИТТЯ КОРПУСІВ ФЛАНЦЕВОЇ АРМАТУРИ ВИСОКОГО ТИСКУ 7.98 MB
  Метою роботи було розвязання важливої народногосподарської задачі що полягає в створенні в Україні ефективного промислового виробництва високоякісних заготовок корпусів фланцевих засувок для видобутку нафти і природного газу з великих глибин методами електрошлакової технології.