18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

34 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

29025. Ленточные фундаменты под стены. Конструктивные решения и применяемые материалы. Условия применения прерывистых ленточных фундаментов 36.5 KB
  Ленточные фундаменты под стены. Ленточные фундаменты под стены устраивают либо монолитными либо из сборных блоков. Монолитные ленточные фундаменты изготовляют из природного камня бетона или железобетона. Монолитные ленточные фундаменты из природного камня и бетона проектируются как жёсткие.
29026. Ленточные фундаменты под колонны и их конструктивные решения 26 KB
  Ленточные фундаменты под колонны и их конструктивные решения. Ленточные фундаменты под колонны устраивают в виде одиночных под ряд колонн или перекрёстных под сетку колонн лент рис. Ленточные фундаменты под колонны предают большую жёсткость сооружению и способствуют выравниванию его осадки.
29027. Сплошные фундаменты. Основные конструктивные решения. Сопряжение колонн со сплошными фундаментами 31 KB
  Сплошные фундаменты. Сплошные фундаменты иногда называемые плитными устраивают под всем зданием в виде железобетонных плит под стены или сетку колонн рис. Сплошные фундаменты способствуют уменьшению неравномерности осадки сооружения. Сплошные фундаменты выполняются как правило из монолитного железобетона.
29028. Определение глубины заложения фундамента исходя из инженерно-геологических и гидрогеологических условий строительной площадки 31.5 KB
  Этот выбор производится на основе предварительной оценки прочности и сжимаемости грунтов по геологическим разрезам. Покажем это на примере рассмотрев 3 наиболее характерные схемы напластований грунтов приведенные на рис. Площадка сложена одним или несколькими слоями прочных грунтов при этом строительные свойства каждого последующего слоя не хуже свойств предыдущего. В этом случае глубина заложения фундамента принимается минимальной допускаемой при учёте сезонного промерзания грунтов и конструктивных особенностей сооружения рис.
29029. Учёт глубины сезонного промерзания грунтов при выборе глубины заложения фундаментов зданий и сооружений 20.5 KB
  Учёт глубины сезонного промерзания грунтов при выборе глубины заложения фундаментов зданий и сооружений. Глубина заложения фундамента из условия промерзания грунтов назначается в зависимости от их вида состояния начальной влажности и уровня подземных вод в период промерзания. Как непучинистые рассматриваются также пески мелкие и пылеватые с любой влажностью а также супеси твёрдой консистенции если уровень подземных вод во время промерзания находится от спланированной отметки земли на глубине равной расчётной глубине промерзания плюс 2 м...
29030. Определение глубины заложения фундаментов с учётом конструктивных особенностей сооружения, включая глубину прокладки подземных коммуникаций, наличие и глубину заложения соседних фундаментов 31.5 KB
  Определение глубины заложения фундаментов с учётом конструктивных особенностей сооружения включая глубину прокладки подземных коммуникаций наличие и глубину заложения соседних фундаментов. Основными конструктивными особенностями возводимого сооружения влияющими на глубину заложения его фундамента являются: наличие и размеры подвальных помещений приямков или фундаментов под оборудование; глубина заложения фундаментов примыкающих сооружений; наличие и глубина прокладки подземных коммуникаций. В зданиях с подвалом или полуподвалом а также...
29031. Определение размеров подошвы центрально нагруженных фундаментов мелкого заложения 63.5 KB
  Реактивное давление грунта по подошве жёсткого центрально нагруженного фундамента принимается равномерно распределённым интенсивностью: 1 где NoII расчётная вертикальная нагрузка на уровне обреза фундамента; GfII и GgII расчётные значения веса фундамента и грунта на его уступах см.1; А площадь подошвы фундамента. Площадь подошвы фундамента при его расчёте по второму предельному состоянию по деформациям определяется из условия: pII ≤ R 2 где R расчётное сопротивление грунта основания. Поскольку обе части неравенства 2...
29032. Определение размеров подошвы внецентренно нагруженных фундаментов мелкого заложения. Эпюры давлений под подошвой фундамента. Порядок расчёта 33 KB
  Эпюры давлений под подошвой фундамента. При расчёте давление по подошве внецентренно нагруженного фундамента принимают изменяющимся по линейному закону а его краевые значения при действии момента сил относительно одной из главных осей определяют как для случая внецентренного сжатия по формуле: 1 Подстановкой значений А=l·b W=b2l 6 и M=NII·e формула 1 приводится к виду 2 2 где NII суммарная вертикальная нагрузка на основание включая вес фундамента и грунта на его уступах; A площадь подошвы фундамента; е эксцентриситет...
29033. Гидроизоляция фундаментов. Защита подвальных помещений от сырости и подтопления подземными водами 42 KB
  Гидроизоляция фундаментов. Гидроизоляция предназначается для обеспечения водонепроницаемости сооружений антифильтрационная гидроизоляция а также защиты от коррозии и разрушения материалов фундаментов и подземных конструкций от агрессивных подземных вод антикоррозионная гидроизоляция. Гидроизоляция от сырости и грунтовых вод подвальных и заглубленных помещений является значительно более сложной выбор такой гидроизоляции зависит от гидрогеологических условий строительной площадки уровня подземных вод их агрессивности особенностей...