18682

Условная энтропия. Энтропия сложной системы

Доклад

Информатика, кибернетика и программирование

Условная энтропия. Энтропия сложной системы. Энтропия сложной системы. Теорема сложения энтропий На практике часто приходится определять энтропию для сложной системы полученной объединением двух или более простых систем. Под объединением двух систем и с возможн...

Русский

2013-07-08

47.76 KB

34 чел.

Условная энтропия. Энтропия сложной системы.

Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

Энтропию сложной системы можно записать в форме математического ожидания:

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

,

или

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Если системы зависимы, то появляются условные вероятности.

- остаточная неопределенность (энтропия).

Условная энтропия. Объединение зависимых систем

Пусть имеются две системы  и , в общем случае зависимые. Обозначим  условную вероятность того, что система  примет состояние  при условии, что система  находится в состоянии : .

- условная энтропия.

Условную энтропию можно также записать в форме математического ожидания:

,

где - условное математическое ожидание величины, стоящей в скобках, при условии .

Определим среднюю, или полную, энтропию системы  с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию умножить на вероятность соответствующего состояния  и все такие произведения сложить.

или - полная условная энтропия.

Внося  под знак второй суммы, получим: .

Но по теореме умножения вероятностей , следовательно,

или

Величина  характеризует степень неопределенности системы , остающуюся после того, как состояние системы  полностью определилось. Будем называть ее полной условной энтропией системы  относительно .

Определим энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы  и  объединяется в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

.

Для доказательства запишем  в форме математического ожидания:

.

По теореме умножения вероятностей ,

следовательно, ,

откуда ,

что и требовалось доказать.

В частном случае, когда системы  и  независимы, , и .

В случае, когда состояние одной из систем (например ) полностью определяет собой состояние другой (),  и .

Если состояние каждой из систем  однозначно определяет состояние другой (или, как говорят, системы  и  эквивалентны), то .

Теорему об энтропии сложной системы можно распространить на любое число систем:

,

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.


 

А также другие работы, которые могут Вас заинтересовать

35480. Локальна політика безпеки 29.25 KB
  Мета: Навчитися максимально захищати систему від проникнення та відновлення паролю вбудованими методами до системи. Настроювання параметрів на кожнім з перерахованих кроків надають адміністраторам системи визначену волю дій у тому випадку коли співробітники компанії не виконують вимоги парольної політики на якомусь з етапів. Захист системи від несанкціонованого відновлення паролю Хід роботи: 1. За максимальними параметрами налагодити по крокам парольну безпеку системи використовуючи правила при встановленні паролю.
35481. Мережеві можливост системиі Windows 272.39 KB
  Нажать кнопку Пуск, а затем выбрать там пункт Выполнить. Ввести команду cmd, откроется командная строка ОС Windows. В командной строке необходимо ввести команду ipconfig /all. Отобразится полная информация об установленных сетевых адаптеров.
35482. Мережеві можливості системи Linux 27.77 KB
  Вы даёте fingerу имя пользователя или адрес email и он попытается связаться с соответствующим сервером чтобы получить от него имя пользователя номер офиса телефон и другую информацию.com finger может возвратить имя пользователя состояние почты телефонные номера и файлы типа €œdot plan€ и €œdot project€. по умолчанию предоставляются следующие данные: Имя пользователя Номер офиса Номер домашнего телефона Номер рабочего телефона Состояние логина Состояние email Содержимое файла. Пример: finger имя вашей учетной записи другой...
35483. Запуск команд у визначений час за допомогою команди at 15.89 KB
  Формат команди Опис at hh:mm Виконати завдання під час hh:mm у 24годинному форматі at hh:mm місяць день рік Виконати завдання під час hh:mm у 24годинному форматі у відповідний день at 1 Вивести список завдань у черзі; псевдонім команду atq at now count timeunits Виконати завдання через визначений час що задано параметром count відповідних одиницях тижнях днях чи годинник хвилинах at d jobJD Видалити завдання з ідентифікатором JobJD з черги; псевдонім команди atnn Планування виконання за допомогою сron і crontab синтаксис команд...
35484. Процесcы в Windows 143.5 KB
  Потоки Процессы инертны. Отвечают же за исполнение кода содержащегося в адресном пространстве процесса потоки. Поток thread некая сущность внутри процесса получающая процессорное время для выполнения. В каждом процессе есть минимум один поток.
35485. Процессы. Системные вызовы fork() и exec(). Нити 11.64 KB
  Процесс в Linux как и в UNIX это программа которая выполняется в отдельном виртуальном адресном пространстве. Когда пользователь регистрируется в системе автоматически создается процесс в котором выполняется оболочка shell например bin bash. Linux поддерживает параллельное или квазипараллельного при наличии только одного процессора выполнение процессов пользователя. Каждый процесс выполняется в собственном виртуальном адресном пространстве т.
35486. Режимы ядра и пользователя Windows 73.01 KB
  Windows NT раньше поддерживала несколько архитектур центральных процессоров включая PowerPC и Alpha современные версии Windows NT поддерживают только процессоры компании Intel и совместимые с ними модели например компании AMD. Страницы памяти которые содержат код в отличие от данных могут быть отмечены как предназначенные только для чтения пользовательскими процессами и кодом на уровне ядра Приложения которые выполняются в пользовательском режиме получают доступ к службам ядра Windows NT вызывая специальные инструкции допускающие...
35487. Информационные процессы 256 KB
  Будем различать данные знания и информацию: информацию можно получить после соответствующей обработки знаний или данных.ru : информацию по отраслям статистики; интегрированные базы данных; статистическую информацию первичных отчетов. Государственная система правовой информации включает: комплекс баз данных правовой информации содержащей более 340000 правовых актов; база данных действующего российского законодательства; база данных судебной статистики и т. Централизованное базируется на базах данных МЧС МВД и т.
35488. Информационные системы в экономике. Общая характеристика методов формирования решений 124.5 KB
  Принятие решения – это всегда выбор определенного направления деятельности из нескольких возможных. Следует различать два процесса: формирование решения и принятие решения. Формирование решения – это подготовка исходных данных и их обработка таким образом что бы было ясно последствия его принятия. Принятие решения – это изучение различных вариантов их последствий и утверждение одного из них.