18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

37 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

23182. Онтологія 128.5 KB
  Поняття онтологія не має однозначного тлумачення у філософії. Існує принаймні три значення цього поняття: Поперше під онтологією розуміють ту частину філософії яка з'ясовує основні фундаментальні принципи буття першоначала всього сутнісного. Саме поняття онтологія у перекладі з грецької мови означає вчення про суще сутнісне найважливіше онто суще сутнісне логія вчення. Подруге у марксистській філософії поняття онтологія вживається для з'ясування сутності явищ що існують незалежно від людини її свідомості та...
23183. Визначальні категоріальні характеристики світу 40 KB
  Визначальні категоріальні характеристики світу. Визначення змісту поняття світ можливе і дійсне тільки у системі відношення людина світ . Іншими словами світ є все те що відмінне від людини і що одночасно органічно має людину в собі. Отже на противагу об'єктивно існуючому світу є внутрішній світ людини .
23184. Поняття природи 115 KB
  природаангл. В побуті слово природа часто вживається у значенні природне середовище в якому живе людина все що нас оточує за винятком створеного людиною. 4 Друга природа створені людиною матеріальні умови її існування. У широкому розумінні природа органічний і неорганічний матеріальний світ Всесвіт у всій сукупності і зв'язках його форм що є об'єктом людської діяльності і пізнання основний об'єкт вивчення науки включно з тим що створене діяльністю людини.
23185. Народонаселення як природне явище 45.5 KB
  Народонаселення як природне явище Насе́лення лю́дність сукупність людей що постійно живуть в межах якоїсь конкретно вказанної територіїрайоні місті області частини країни країні континенту чи всієї земної кулі тощо. Наука яка вивчає розмір структури динаміку руху і розвиток населення зветься д е мо г ра фі я. Сукупність людей які здатні до самовідтворення та саморозвитку й проживають на певній територіїкраїна регіон континент чи будьяка інша частина планети називають населенням або народонаселенням. Населення в...
23187. Поняття глобалізаціїї та форми її існування 43 KB
  Поняття глобалізаціїї та форми її існування. Історичні етапи глобалізації: Сучасна глобалізація підготовлена багатьма історичними процесами: 1. Деякі дослідники вважаютьщо початковими формами глобалізації була торгівля та захоплення нових територій5 тис.Інші знаходять елементи глобалізації в епоху античності а саме у створенні імперії Олександра Македонського 1V ст.
23188. Глобальні проблеми сучасності 53 KB
  В загальному вигляді всі ці ресурси можна умовно віднести до трьох груп: матеріальніповітря вода їжа одяг засоби виробництва пересування матеріали для житла та ін. енергетичнірізноманітні форми енергії що дозволяють перетворювати матеріальні ресурси та інформаційнімова знання досвід тощо. Всі ці ресурси людина в своїй повсякденній та виробничій діяльності отримує з навколишнього середовища яке по суті є системою що включає природний антропогеннийстворений людиною та соціальнийприродноантропогенний компоненти....
23189. Екологічні проблеми та шляхи їхрозв’язання 35.5 KB
  Екологічні проблеми та шляхи їхрозвязання Екологічні проблеми це проблемиповязані з впливом на природне середовище діяльності людини що спричинює порушення структури та функціонування природних системекосистем ландшафтів і викликає негативні соціальні економічні та інші наслідки. Поняття екологічної проблеми є антропоцентричним тому що всі негативні зміни оцінюютьс яз точки зору значимості для людини та умов її існування. З огляду на порушення певних компонентів середовищачи екосистеми екологічні проблеми розділяють на такі...
23190. Інтелект,почуття,пам»ять і воля як здатності людини 49.5 KB
  Пам'ять є складною системою процесів що здійснюють повний цикл перетворень інформації суб'єктом: запам'ятовування зберігання відтворення і забування. Запам'ятовуванняце процес пам'яті який забезпечує приймання відбір і фіксацію інформації завдяки утворенню й закріпленню тимчасових нервових зв'язків. Запам'ятовування як і інші психічні процеси буває мимовільним і довільним. А Мимовільне запам'ятовування має місце тоді коли людина не ставить собі за мету щось закріплювати і в подальшому використовувати цю інформацію.