24444

Энтропия источника информации

Контрольная

Информатика, кибернетика и программирование

Энтропия источника информации. Источник информации можно представить в виде случайной величины X принимающей одно из конечного числа возможных значений {1 2 ј m} с вероятностью pi pi – вероятность того что X = i.Теорема Шеннона Если имеется источник информации с энтропией Нх и канал связи с пропускной способностью С то если С HX то всегда можно закодировать достаточно длинное сообщение таким образом что оно будет передано без задержек. Если же напротив С HX то передача информации без задержек невозможна.

Русский

2013-08-09

179 KB

5 чел.

1. Энтропия источника информации. 

Источник информации можно представить в виде случайной величины X, принимающей одно из конечного числа возможных значений {1, 2, ј, m} с вероятностью pi (pi – вероятность того, что X = i). Энтропия случайной величины X по определению равна

где логарифмы берутся по основанию 2 и энтропия измеряется в битах. Энтропия устанавливает нижнюю границу средней длины любого двоичного представления случайной величины.

1.Теорема Шеннона

Если имеется источник информации с энтропией Н(х) и канал связи с пропускной способностью С, то если С > H(X), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет передано без задержек. Если же, напротив,   С < H(X), то  передача информации без задержек невозможна.  

В любом реальном канале всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае среднее количество информации, переносимое одним символом равно I(X,Y)=I(X,X)=H(X).   Максимальное значение  Hmax=log m. Следовательно, пропускная способность дискретного канала без помех за единицу времени равна

  .

Реальные каналы характеризуются тем, что на каналы всегда воздействуют помехи. Пропускная способность дискретного канала с помехами вычисляется по формуле  C =n[H(Y)-H(Y/X)]max . 

Где средняя, условная энтропия со стороны приемника сигналов     

А энтропия принимаемых сигналов определяется из условия максимального значения    H(y)= log m.

2. Теорема Шеннона. 

Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X)<C, то любое достаточно длинное сообщение  можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.

Теорема Шеннона для дискретного информационного канала без помех и  при наличии помехи.

 Теорема Шеннона для дискретного канала без помех.

Если поток информации вырабатываемой источником достаточно близок к пропускной способности канала, т.е. I(X) = c-σ (1.13) где σ – сколь угодно малая величина.

То можно всегда найти такой способ кодирования, который обеспечивает передачу всех сообщений вырабатываемых источником при чем скорость передачи информации будет весьма близка к пропускной способности канала.

I(Z,Y) = c-σ

Обратное утверждение теоремы Шеннона заключается в том, что невозможно обеспечить длительную передачу всех сообщений если поток информации вырабатываемый источником превышает пропускную способность канала.

I(X)>с

Таким образом Теорема Шеннона утверждает, что при выполнении условия (1.13) скорость передачи информации может быть в принципе сколь угодно приближена к пропускной способности канала. Это может быть обеспечено соответственным способом кодирования. Теорема не отвечает на вопрос каким способом нужно осуществлять кодирование.

Теорема Шеннона для дискретного канала при наличии помех.

Если поток информации вырабатываемый источником достаточно близок к пропускной способности канала, т.е. если справедливо I(X) = c-σ, где σ – сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений вырабатываемых источником, а вероятность ошибок распознавания любого переданного сообщения будет сколь угодно малым Р н.о. <η  , Р н.о.  - вероятность неправильных опознаваний сообщений.

η- сколь угодно малая величина.

Обратная Теорема.

Если поток информации источника превышает пропускную способность канала, то не существует способа кодирования обеспечивающего передачу любого сообщения с малой вероятностью ошибки.


2. Таймеры счётчики ОМЭВМ.

Таймеры/счётчики(Т/С) предназначены для подсчёта внешних событий, для получения программно управляемых временных задержек и выполнения времязадающих функций ОМЭВМ.

В состав блока Т/С входят:

  1.  два 16-разрядных регистраТ/С0 и Т/С1:
  2.  8-разрядный регистр режимов Т/С(ТМОD);
  3.  8-разрядный регистр управления (ТСОN)
  4.  схема инкремента;
  5.  схема фиксации INT0, INT1, N0.N1;
  6.  схема управления флагами;
  7.  логика управленияТ/С.

Регистры Т/С0 и Т/С1 (16-ти разрядные,состоят из пар ТН0,ТL0 и ТН1,ТL1 ) выполняют функцию хранения содержимого счёта. Каждый из регистров ТН0,ТL0 и ТН1,ТL1 имеют свой адрес и может использоваться как регистр общего назначения (РОН), если Т/С не  используются(бит ТR0 для Т/С0 и бит ТR1 для Т/С1 в регистре управления TCON равны «0»).

Код величины начального счёта заносится в регистр Т/С программно. Признаком окончания счёта,  как правило, является переполнение регистра Т/С. т.е. переход его содержимого из состояния «все единицы» в состояние «все нули». В регистры ТН0, ТН1,ТL0,TL1 доступны по чтению, и, при необходимости, контроль достижения требуемой величины счёта может выполняться программно.

Регистр режимов Т/С(ТМОD) предназначен для приёма и хранения кода, определяющего:

-один из 4-х возможных режимов работы каждого Т/С;

-работу в качестве таймеров или счётчиков;

-управление Т/С от  внешнего вывода.

При работе в качестве таймера содержимое регистра Т/С инкрементируется в каждом машинном цикле, т.е Т/С является счётчиком машинных циклов ОМЭВМ. Машинный цикл состоит из 12-ти периодов частоты синхронизации ОМЭВМ fВQ,следовательно частота счёта в данном случае равна  fВQ/12.

При работе Т/С в качестве счётчика внешних событий содержимое регистра Т/С инкрементируется в ответ на переход из «1» в «0» сигнала на счётном входе ОМЭВМ ( вывод Т0 для Т/С0 и вывод Т1 для Т/С1).

Регистр управления (ТСON) предназначен для приёма и хранения управляющего слова.

Схема инкремента предназначена:

для увеличения на 1 в каждом машинном цикле содержимого регистров Т/С0,Т/С1 для которых установлен режим таймера и счёт разрешён;

для увеличения на 1 содержимого регистров Т/С0, Т/С1 для которых установлен режим счётчика, счёт разрешён и на соответствующем входе ОМЭВМ(Т0 для Т/С0 и Т1 для Т/С1) зафиксирован счётный импульс.

Схема фиксации INT0, NIT1, T0,T1 представляет собой четыре триггера. В каждом машинном цикле в них запоминается информация с выводов ОМЭВМ  INT0, INT1, T0, T1.

Схема управления флагами вырабатывает и снимает флаги переполнения Т/С и флаги запросов внешних прерываний.

Логика управления Т/С синхронизирует работу регистров Т/С0 и Т/С1 в соответствии с запрограммированными режимами работы и синхронизирует работу блока Т/С с работой ОМЭВМ.


 

А также другие работы, которые могут Вас заинтересовать

29509. Психотерапія сексуальних розладів 83 KB
  Психотерапія сексуальних розладів. Психотерапія сексуальних розладів. В наш час дія при проведенні психотерапії сексуальних дисфункцій більш визначена ніж медикаментозна терапія. Карен Хорні – підкреслювала що розвиток сексуальних порушень найбільшу роль відіграє невротичний перехрест комплексів.
29510. Статеві стосунки в подружньому житті 86.5 KB
  Це важливо також при вирішенні сексуальних проблем подружжя і їх родинної взаємодії. В основі розгортання сексуальних реакцій тільки гормональна забезпеченість представляється більш важливою ніж психологічна складова. На рівні підсистеми сексуальних відносин мають значення гармонія сексуальних стосунків чи дисгармонія їх. Жіночі сексуальні розлади які призводять до дисгармонії сексуальних стосунків.
29511. Статеві стосунки в сімейному житті 91.5 KB
  Нерідко психічна імпотенція накладається на органічну але незначну і виникає психосоматична модель порушень статевого акту. Особлива схильність пацієнтів з психічною імпотенцією звинувачувати себе в онанізмі та інших “розпуствах†і шукати причини свого статевого безсилля в неіснуючих у них венеричних захворюваннях не завжди справдуються. А також алкоголізм чи застосування алкогольних напоїв для стимуляції статевого збудження. Зниження статевого потягу – може бути пов’язана з транзиторною сублімацією – переключенням сексуальної...
29512. Означення поняття сексологія і сексопатологія 158.5 KB
  Сексологія вивчає закономірності психосексуального розвитку диференціації і детермінації статі формування сексуальної орієнтації та ідентичності статевовікові особливості психосексуального розвитку і сексуальної поведінки. Статеве дозрівання статевий розвиток – це процес формування вторинних статевих ознак розвиток репродуктивних органів і здатність до народження дітей. Психосексуальний розвиток ПСР – це формування статевої самосвідомості статевої ролі і психосексуальної орієнтації а саме – формування векторів сексуального потягу...
29513. Формування сексуальної орієнтації і норми 43 KB
  Означення поняття сексуальної норми включає поведінку, відповідну віковим та статево-рольовим закономерностям даної популяції, яка здійснюється в результаті вільного вибору і не обмежує у вільному виборі партнера (А.А. Ткаченко). В сексології розрізняють поняття індивідуальної та партнерської норми.
29514. Формування сексуальної норми 98.5 KB
  запропонував робочу класифікацію ролей чоловіків і жінок в статевому циклі. Її сексуальність носить материнський характер опіка захист турбота до чоловіка що проявляється в її мові використання зменшених ласкавих слів поведінці достатньо активні але не агресивні пестощі з її боку смаки і симпатії віддають перевагу слабким невпевненим в собі інфантільним навіть хворим чоловікам яких годує лікує опікується ними тощо. Ідеальний партнер для тривожних боязких неуспішних чоловіків котрих вона “навчає коханню†підтримує....
29515. Формування сексуальної норми і орієнтації 104 KB
  При наявності високого еротичного показника 4 – 5 оргазм може виникнути без статевого акту. Пестощі бувають першого другого третього порядку – це терміни які відображають послідовність пестощів необхідних для розвитку статевого збудження. Початок статевого акту повинен проходити на фоні значного сексуального збудження жінки включаючи як фізичні так і психічні зміни. Шкала статевого збудження жінки: вегетативносудинний рівень – 10 – 20 ; моторномовленнєвий рівень – 30 – 40 ; поведінковий рівень – 40 – 50 ; психічні прояви –...
29516. Порушення статевої та психосексуальної диференціації та ідентичності, причини і форми 67.5 KB
  Психосексуальна диференціація ПСД – як процес представляє собою явище механізми котрого визначаються взаємодією детермінант статі. Статева та сексуальна ідентифікація – жіноча; Анарія – порок розвитку внутрішньоутробне порушення зовнішніх органів яєчек недорозвиток статевого органу – може бути заміна статі; Дісгенезія гонад – гермофродитизм істиний – і чоловічі і жіночі елементи внутрішніх статевих органів – частіше як дівчинки в подальшому – зміна статі. Питання зміни статі А.Бєлкін 1978 описує порушення індентифікації у...
29517. Сексологічне обстеження 164.5 KB
  Більшість спеціалістів розуміють що обстеження сексологічних пацієнтів має свої особливості: інтимність питання “закритість†пацієнтів їх невміння обговорювати своє сексуальне життя відсутність адекватної мови для обговорення цих порушень. – 4 варіанти уявних порушень: зі ставленням до себе підвищених вимог; невротична тривога – психотична; ненормальні уявлення про статеві стосунки пацієнта або пари – роз’янень.2 наявність сексуальних порушень у партнера. Аналіз статевих порушень з позицій “психогенне особистісно –...