18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

33 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

46342. Модернизация бульдозерного оборудования 2.98 MB
  Земляные работы являются самым распространенным видом работ строительного производства. Они применяются в транспортном, гидротехническом, промышленном и городском строительстве, а также в сельском хозяйстве. Вместе с тем они принадлежат к весьма важным видам работ, от качества которых во многом зависит устойчивость и продолжительность службы устроенных на грунтовых основаниях таких инженерных сооружений, как автомобильные и железные дороги, плотины, дамбы.
46343. Обзор конструкций гидротрансформаторов 4.18 MB
  Для предохранения от самопроизвольного включения или выключения передачи в механизмах управления применяются стержневые или шариковые фиксаторы. Специальные клапаны позволяют не только плавно переключать ступени но и производить эти переключения с определенным сдвигом по фазе. В...
46345. Разработка привода цепного конвейера 986.97 KB
  Требуемая частота вращения вала электродвигателя где общее передаточное число кинематических пар изделия: где предварительное значение передаточного числа планетарного механизма u56’ – предварительное значение передаточного числа цепной передачи. Частоту вращения приводного вала вычисляем по формуле: об мин об мин Подбираем электродвигатель мощнстью 15 кВт и синхронной частотой вращения 750 об мин по табл. Определим чатоты вращения валов:...
46346. История автомобилестроения 207 KB
  В конце XIX столетия развитие автомобилестроения двигалось медленно и неповоротливо: с современным его роднил разве что двигатель внутреннего сгорания. Однако в 1914 году, с началом первой мировой войны, — спустя всего 29 лет с момента появления первой незатейливой модели Бенца
46347. Расчет погружного насоса 362.03 KB
  Анализ и оценка опасностей при выполнении работ связанных с обслуживанием скважин оборудованных УЭЦН. Для надежной работы насоса требуется его правильный подбор к данной скважине. При работе скважины постоянно меняются параметры плата призабойной зоны пласта свойства отбираемой жидкости: содержание воды количество попутного газа количество механических примесей и как следствие отсюда идет не доотбор жидкости или работа насоса...
46349. Деятельность предприятий в секторах рынка на примере ОАО Тирасполь-ТрансГаз-Приднестровье 203 KB
  Любое общество для удовлетворения многообразных потребностей человека сталкивается с извечной фундаментальной проблемой - проблемой адекватного, рационального использования ограниченных, редких ресурсов. Соответственно обществу приходится делать выбор