18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

39 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

31872. ЭНДОСКОПИЧЕСКАЯ ДИАГНОСТИКА И ЛЕЧЕНИЕ ГАСТРОЭЗОФАГЕАЛЬНОЙ РЕФЛЮКСНОЙ БОЛЕЗНИ 2.34 MB
  Ацидометрия и исследование моторнодвигательной функции пищевода и желудка. Необходимость дальнейшего изучения различных сторон этиопатогенеза данного заболевания не вызывает сомнений так как до конца не определены вопросы диагностики и выбор оптимального метода лечения в связи с чем целесообразным представляется исследование морфофункционального статуса пищевода у больных данным заболеванием при неэффективности проводимого лечения. В доступной зарубежной и отечественной литературе нет единого мнения о причинах способствующих...
31873. Культурологическая семантика названий улиц и их влияние на формирование культурного фона и мировоззрения человека 108 KB
  Синявского весь мир: глава о советском языке в его книге имеет именно такой подзаголовок: Переименованный мир The Renmed World 1 . Оба процесса и переименования и перепереименования несут значительную культурноидеологическую нагрузку и несомненно создают определенный культурноидеологический мир определенную систему ценностей для тех поколений которые приходят в этот мир без груза прошлых названий и соответственно прошлых миров и систем. Отверженные обиженные разочаровавшиеся они поехали за американской мечтой...
31874. Использование трудовых ресурсов в СПК «Новый путь» Шахунского района Нижегородской области 1.66 MB
  Кроме того это объясняется тем что при возрождаемой конкуренции все большее значение приобретает результативность труда все заметнее сказываются на итогах деятельности как потери понесенные вследствие упущений так и выигрыш полученный от реализации резервов роста производительности труда и повышения эффективности производства. Затраты труда на единицу этих продуктов увеличились почти вдвое что связано в основном со снижением продуктивности животных урожайности культур. Увеличение этого продукта и особенно его основной части вновь...
31875. Багатозначні слова. Пряме й переносне значення слова 36.5 KB
  Пряме й переносне значення слова Тести Варіант 1 1. Лексичне значення слова вивчає: а лексикографія; б лексикологія; в лексика; г лексема. Як називаються значення слова які виникають під впливом різних мовних ситуацій: а прямі; б гіперболічні; в похідні; г полісемічні.
31877. Техническое обоснование разработки компьютерной сети и анализ исходных данных 183 KB
  1 Техническое обоснование разработки компьютерной сети и анализ исходных данных Бухгалтерия и отдел кадров формирует комплексный бухгалтерский отчёт о деятельности предприятия полученной прибыли и произведённых затратах.2 Распределение РС по комнатам и отделам Номер комнаты Площадь помещения м2 Наименование отдела Наименование пользователей в сети Количество РС шт Количество возможных РС шт 412 84 Главный бухгалтер GlvBuh 1 2 Продолжение таблицы 1.2 Номер комнаты Площадь помещения м2 Наименование отдела...
31878. ЭЛЕКТРОННЫЕ КЛЮЧИ 1.08 MB
  В качестве нелинейных приборов с управляемым сопротивлением в электронных ключах используются полупроводниковые диоды транзисторы фототранзисторы тиристоры оптроны электронные лампы.1 Диодные ключи Цель работы исследование статических и динамических параметров и характеристик диодных ключей. На рис.1 а показаны типичные статические ВАХ германиевого Gе и кремниевого Si диодов а на рис.
31879. Определение чистоты лекарственных средств 464 KB
  Каково назначение определения удельного вращения в препаратах кислота аскорбиновая и кислота глютаминовая Приведите формулу для расчета удельного вращения в растворах. Для каких субстанций определяют прозрачность цветность раствора Какие нормативные документы регламентируют определение этих показателей Какими подходами пользуются при определении рН кислотности или щелочности Какие примеси и какими методами определяются согласно разделу блока чистоты Посторонние примеси. Промоделируйте определение прозрачности раствора в...
31880. Захист інформації в комп’ютерних системах 288.5 KB
  Огляд стандартних прав доступу в Windows 2000. Частина перша охоплює питання захисту інформації на рівні операційних систем і базових складових будьякої системи захисту підсистем ідентифікації й автентифікації розмежування доступу і реєстрації подій. Теоретичні відомості Підсистема ідентифікації та автентифікації У системі Unix єдиними можливими суб'єктами доступу є користувачі идентифікуючою інформацією яких є login який іноді називають userid ім'яідентифікатор з одного слова а...