18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

37 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

41558. ИННОВАЦИОННАЯ ПОЛИТИКА 187 KB
  Как и практически всякая иная политика она неодинакова в разных странах хотя и подчинена одной и той же цели: стимулированию инновационной активности и развитию научнотехнического потенциала. Место и роль инновационной политики в структуре государственного регулирования экономики определяются особенностями инновационного процесса как объекта управления. В практической направленности инновационной идеи и состоит ее притягательная сила для капиталистических компаний. Так к числу внутренних побудительных мотивов инновационной активности можно...
41559. ГОСУДАРСТВЕННЫЕ ЦЕННЫЕ БУМАГИ 168.63 KB
  Хотя по своей экономической сути все виды ГЦБ есть долговые ценные бумаги на практике каждая самостоятельная ГЦБ получает свое собственное название позволяющее отличать ее от других видов облигации. ГЦБ как правило занимают ведущее место на рынке облигаций где их доля доходит до 50 а значит и на всем рынке ценных бумаг поскольку на последнем преобладают облигации. В структуре ГЦБ наибольший удельный вес имеют среднесрочные и долгосрочные облигации но по отдельным странам имеется значительный разброс показателей характеризующих место...
41560. Вторичные ценные бумаги 142.54 KB
  Привлекательные качества АDR для инвесторов состоят в: покупке ценных бумаг с более высоким уровнем доходности чем акции национальных компаний; минимизации рисков по сравнению с прямой покупкой иностранных акций; возможности выхода на рынок другой страны при отсутствии достаточных знаний иностранных фондовых рынков их особенностей и традиций налогообложения и т. Упрощенно торговлю в США акциями российского эмитента через АDR можно представить следующим образом. Американский инвестор пожелавший купить АDR делает заказ на покупку...
41561. СРОЧНЫЕ КОНТРАКТЫ 341.76 KB
  В последнем случае класс производных инструментов включает не только срочные контракты но и любые другие новые инструменты рынка такие как вторичные ценные бумаги в их потенциально бесконечном многообразии комбинации ценных бумаг со срочными контрактами и т.1 Основные различия между ценными бумагами и срочными контрактами как производными инструментами Признак Ценная бумага Срочный контракт как производный инструмент Вид капитала Представитель действительного капитала Фиктивный капитал Движимое имущество собственность Представитель...
41562. ВИДЫ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ НА РЫНКЕ ЦЕННЫХ БУМАГ 166 KB
  Третья группа участников рынка ценных бумаг представлена профессиональными участниками к которым согласно Федеральному закону â€œО рынке ценных бумаг†следует отнести юридических лиц в том числе и кредитные организации а также граждан физических лиц зарегистрированных в качестве предпринимателей и специализирующихся на оказании услуг всем участникам фондового рынка. Понятие профессионального участника рынка ценных бумаг в Российской Федерации по мере его развития и создания...
41563. ИДЫ СДЕЛОК И ОПЕРАЦИЙ С ЦЕННЫМИ БУМАГАМИ 138.05 KB
  Становление фондового рынка в России потребовало выработки правил организации взаимоотношений между участниками сделок с ценными бумагами а также привело к появлению специализированных организаций обеспечивающих все процедуры сделок и составляющих инфраструктуру рынка ценных бумаг. Если несколько лет назад при организации расчетов на российском рынке ценных бумаг в основном ориентировались на западные технологии то теперь эти технологии адаптировались к российским условиям и...
41564. ФОНДОВАЯ БИРЖА. ЗАДАЧИ И ФУНКЦИИ ФОНДОВОЙ БИРЖИ 247.35 KB
  Первая задача фондовой биржи заключается в том чтобы предоставить место для торговли иначе говоря централизовать место где может происходить как продажа ценных бумаг их первым владельцам так и вторичная их перепродажа. Для выполнения первой задачи централизовать торговлю ценными бумагами в одном месте фондовой бирже необходимо не только отработать правила и системы регулирования торговли но также выработать достаточно жесткие требования к компаниям поставляющим ценные бумаги для продажи а также к...
41565. ВНЕБИРЖЕВОЙ РЫНОК ЦЕННЫХ БУМАГ 112.25 KB
  Несмотря на то что внимание сосредоточено на рынке обыкновенных акций многие его черты можно отнести к рынкам оперирующим другими финансовыми инструментами такими например как облигации. Поскольку по объему оборота обыкновенных акций выраженному как в денежном так и в количественном отношении эта биржа является лидером место на этой ценится очень высоко. Основными критериями которыми руководствуется совет директоров NYSE при принятии решения о допуске акций компании к котировке являются: “1 степень национального интереса к...
41566. ИНФОРМАЦИОННАЯ ИНФРАСТРУКТУРА РЫНКА ЦЕННЫХ БУМАГ 211.04 KB
  Структура биржевой информации и информации внебиржевых системторговли ценными бумагами. Рейтинговые системы и рейтинговые агентства на рынке ценных бумаг. Российский рынок ценных бумаг развивается значительными темпами и сейчас он достиг такого уровня когда эффективное управление им стало немыслимым без использования мощных компьютерных систем и современных средств телекоммуникации.