50970

Измерение информации

Лекция

Информатика, кибернетика и программирование

Информация и теории информации Информация лат. Из Энциклопедии кибернетики В широком смысле отражение реального мира; В узком смысле любые сведения являющиеся объектом хранения передачи и преобразования информации. Теории информации Структурная теория информации рассматривает структуру построения отдельных информационных сообщений.

Русский

2014-02-03

79 KB

0 чел.

Лекция №3

Тема: Измерение информации

I. Информация и теории информации

Информация

 

лат. Information – разъяснение, изложение, осведомленность

 

одно из общих понятий науки, обозначающее некоторые сведения, совокупность каких-либо данных, знаний.

(Из «Энциклопедии кибернетики»)

В широком смысле – отражение реального мира;

В узком смысле – любые сведения, являющиеся объектом хранения, передачи, и преобразования информации.

Теории информации

Структурная теория информации  рассматривает структуру построения отдельных информационных сообщений. Еденица количества информации – элементарная структурная еденица квант.

Статестическая теория оценивает информацию с точки зрения меры неопределенности. Основное внимание уделяется распределению вероятностей, либо появлению сигналов, либо изменению характеристик этих сигналов и построению на его основе некоторых обобщенных характеристик, позволяющих оценить количество инфоромации.

Семантическая теория занимается изучением именно смысловых характеристик информации: ценности, содержательности, полезности. Помогает связать количество и ценность информации с такими обобщенными характеристиками системы, как эффективность, информационная пропускная способность, информационная помехоустойчивость.

II. Структурные меры информации

Геометрическая (метрическая):

Единица измерения – метрон (мера точности измеряемого параметра);

Метронная мощность (плотность)

физической системы –  количество метронов в расчете на единичный объем координатного

пространства;

Пример:

Сообщение    x=x(g, f, t)

Оценить количество информации.

Сообщение представляют в виде набора элементарных ячеек, размеры которых определяются точностью

 Δg, Δf, Δt

Измерения координат                                        g, f, t

Один метрон = объему элементарной ячейки ν= Δg*Δf*Δt

Количество метронов в сообщении x определяется как

                                                 V=ng * nf * nt,  

ng=g(tc)/Δg, nf=f(tc)/Δf,  nt=tc/Δt –  количество метронов, обусловленное точностью измерения координат g, f, t;

tc время, за которое производится оценка количества информации;

V – метрическое информационное содержание  сообщения;


Комбинаторная (структурная
) : возможное количество комбинаций информационных элементов

Перестановки – группы элементов, содержащие все имеющиеся в     наличии элементы

   

                   

Сочетания - группы по l элементов, образуемые из h разных элементов, различающиеся между собой самими элементами.

Размещения -

Определение количества информации в комбинаторной мере - 

определение количества возможных или существующих комбинаций, т.е. оценка структурного разнообразия информационного устройства.

Пример:

Имеем 10 элементов.

Составим три структуры путем сочетаний из 10 элементов по 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 элементов путем перестановок и путем размещений по десяти различным позициям.

Количество сочетаний равно

Количество различных перестановок

P10=10!=3 628 800

Количество элементов по 10 позициям :

Когда нельзя реализовать полученные комбинации, подсчет ведется по реализуемым комбинациям.

Аддитивная мера – мера Хартли – логарифм числа возможных разме-щений из h элементов по l 

Позволяет производить суммирование количеств информации отдельных элементов информационного комплекса. Всегда по-ложительна.

Логарифм с основанием 2 - единица количества информации говорит о том, что произошло одно из двух равновероятных событий (двоичная единица информации или бит).

Логарифм с основанием  10 - количество информации в дитах, , натуральный логарифм с основанием е=2,71828 – в нитах.

III. Меры информации

               

Единицы измерения информации и примеры

Мера информации

Единицы измерения

Примеры

Синтаксическая:

шенноновский подход

компьютерный подход

Степень уменьшения неопределенности

Единицы представления информации

Вероятность события

Бит,байт,Кбайт и т.д.

Семантическая

Тезаурус

Экономически показатель

Пакет прикладных программ,ПК,компьютерные сети

Рентабельность, производительность и т.д.

Прагматическая

Ценность использования

Емкость памяти, производительность ПК, скорость передачи данных и т.д Денежное выражение

Алгоритмическая

Минимальное число внутренних состояний машины

Машина Тьюринга

Синтаксическая мера информации

Объем данных Vд. в сообщение измеряется количеством символов (разрядов) в этом сообщение. В различных системах счисления один разряд имеет различный вес и  соответственно меняется единица измерения данных:

  •  в  двоичной системе счисления единица измерения - бит (bit-binary digit-двоичный разряд);
  •  в десятичной системе счисления единица измерения – дит (десятичный разряд).

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Получение информации о какой–либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.(теория Шеннона).

Семантическая мера информации.

Тезаурус- это совокупность сведений , которыми располагает пользователь или система.

В зависимости  от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp. изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

  •  

Ic  

                                    Sp opt                                       Sp

                         

Максимальное количество информации Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp ( Sp = Sp opt) ,когда поступающая информация понятна пользователю и несет ему  ранее не известные (отсутствующие  в его тезаурусе ) сведения.

Относительной мерой количества семантической информации может служить коэффициент содержательности C, который определяется как отношение количества семантической информации к ее объему:

С= Ic / Vд.

Прагматическая мера информации.

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же единицах (или близких к ним), в которых измеряется целевая функция.

Алгоритмическая мера информации.

Каждый согласится , что слово  0101….01 сложнее слова  00….0, а слово, где 0 и 1 выбираются из эксперимента – бросания монеты (где 0-герб,1 –решка),сложнее обоих предыдущих .

    Любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Так как имеется много разных вычислительных машин и разных языков программирования (разных способов задания алгоритма), то для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга.

Сложность слова (сообщения) определяется как минимальное число внутренних состояний машины Тьюринга, требующиеся для его воспроизведения.

IV. Качество информации

Потребительские показатели качества:

  •  репрезентативность, содержательность, достаточность
  •  актуальность, своевременность, точность
  •  достоверность, устойчивость

   

Репрезентативность связана с адекватным отраженияем свойств объекта. Важнейшее значение здесь имеют:

  •  правильность концепции , на базе которой сформулировано исходное понятие;
  •  обоснованность отбора существенных признаков и связей отобра-жаемого явления.

Содержательность отражает семантическую емкость, равную отношению количества семантической информации в сообщении к объему обрабатываемых данных, т.е. С= Ic / Vд.

С увеличением содержательности информации растет семантическая пропускная способность информационной системы (для получения одних и тех же сведений требуется преобразовать меньший объем данных).

Достаточность (полнота) означает , что она содержит минимальный , но достаточный для принятия правильного решения состав (набор показа-телей).Понятие полноты информации связано с ее смысловым содержани-ем (семантикой) и прагматикой. Как неполная ,т.е. недостаточная для при-нятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем   решений.

Доступность восприятию обеспечивается выполнением соответствующих процедур ее получения и преобразования. Например , в информационной системе информация преобразовывается к доступной и удобной для восприятия пользователя форме (в частности, и путем согласования ее семантической формы с тезаурусом пользователя).

Актуальность информации определяется степенью сохранения ценности информации для управления в момент ее использования, зависит от динамики изменения ее характеристик и от интервала времени, прошедшего с  момента возникновения данной информации.

Своевременность информации означает ее поступление не позже зара-нее назначенного момента времени , согласованного с временем решения поставленной задачи.

Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта , процесса , явления и т.п. Для информации ,отображаемой цифровым кодом , известны четыре классифи-кационных понятия точности:

  •  формальная точность , измеряемая значением единицы младшего разряда числа;
  •  реальная точность, определяемая значением единицы последнего разряда числа, верность которого гарантируется;
  •  максимальная точность, которую можно получить в конкретных условиях функционирования системы;
  •  необходимая точность, определяемая функциональным назначением показателя.

Достоверность информации определяется ее свойством отражать реально существующие объекты с необходимой точностью .Измеряется достоверность информации доверительной вероятностью необходимой точности, т.е. вероятностью того , что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

Устойчивость  информации отражает ее способность реагировать на изменения исходных данных без нарушения необходимой точности. Устойчивость информации , как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.

Репрезентативность,  содержательность, достаточность, доступность, устойчивость определяются на методическом уровне разработки информа-ционных систем.

Актуальность , своевременность , точность и достоверность обуславливаются на методическом уровне , однако на их величину  существенно влияет и характер функционирования системы (надежность).

Параметры актуальности и точности жестко связаны соотве-тственно с параметрами своевременности и достоверности.


 

А также другие работы, которые могут Вас заинтересовать

31603. ПОРУШЕННЯ СИСТЕМИ ЛЕЙКОЦИТІВ 84 KB
  Периферична кров містить: 1 пул циркулюючих лейкоцитів близько 50; 2 пристінковий маргінальний пул близько 50. Для характеристики стану лейкоцитів використовують наступні показники: 1 Вміст лейкоцитів в одиниці обєму крові. Збільшення вмісту лейкоцитів у крові одержало назву лейкоцитозу зменшення лейкопенії.
31604. ПОРУШЕННЯ СИСТЕМНОГО РІВНЯ АРТЕРІАЛЬНОГО ТИСКУ 96.5 KB
  Відповідно до цього виділяють 3и гемодинамічних варіанти артеріальної гіпертензії: 1. Виникнення артеріальної гіпертензії може обумовлюватися змінами функції регуляторних систем організму які забезпечують сталість артеріального тиску. При первинній артеріальній гіпертензії підвищення артеріального тиску не пов'язане із конкретним захворюванням чи патологічним процесом у тих чи інших органах і системах організму: причина підвищення артеріального тиску залишається неясною. Таку форму гіпертензії у різних країнах називають...
31605. ПОРУШЕННЯ ТРАВЛЕННЯ У КИШЕЧНИКУ. (МАЛЬДІГЕСТІЯ) 76 KB
  Він виникає внаслідок: 1 недостатності секреторної функції шлунка; 2 недостатності секреції соку підшлункової залози; 3 недостатньої секреції жовчі; 4 недостатньої секреції кишкового соку 12палої та порожньої кишок. П р и ч и н а м и такого явища можуть бути: а нейрогенне гальмування зовнішньосекреторної функції підшлункової залози при зменшенні тонусу блукаючого нерва чи отруєнні атропіном і ін. Такі фактори ведуть до порушення надходження у 12палу кишку ферментів підшлункової залози які відіграють вирішальну роль в травленні...
31606. ПРЕДМЕТ, ЗАДАЧІ І МЕТОДИ ПАТОЛОГІЧНОЇ ФІЗІОЛОГІЇ 78 KB
  Патологічна фізіологія це наука яка вивчає загальні закономірності виникнення розвитку і завершення хвороби. Особливість предмету патологічної фізіології полягає в тому що вона вивчає найбільш загальні закономірності виникнення і розвитку хвороби у той час як інші науки вивчають особливе спеціальне кожної хвороби. При цьому патологічна фізіологія як наука вирішує наступні задачі: 1 Встановлення сутності хвороби що таке хвороба. 2 Вивчення причин і умов виникнення хвороби чому виникає хвороба чи патологічний процес.
31607. ПУХЛИНИ 85.5 KB
  Доброякісні пухлини складаються із добре диференційованих клітин і зберігають типову структуру тієї тканини з якої виростають. Злоякісні пухлини характеризуються втратою диференціювання клітин спрощенням і атиповістю будови. Певна частина пухлин походить із клітин крові тобто є гемобластозами або із клітин сполучної тканини і є саркомами. Ендогенними називають канцерогени які утворюються в організмі з його нормальних компонентів: а канцерогенні поліциклічні ароматичні вуглеводні метилхолантрен які синтезуються із холестерину...
31608. РЕАКТИВНІСТЬ і АЛЕРГІЯ 138.5 KB
  4 За патогенезом: а алергійні реакції гуморального типу I II III і V типи реакцій; 2 алергійні реакції клітинного типу IV тип реакцій за Кумбсом і Джеллом. У патогенезі алергійних реакцій виділяють наступні стадії: 1 імунологічну 2 патохімічну 3 патофізіологічну стадію клінічних проявів. 2 Патохімічна стадія це період часу від початку взаємодії алергену з ефекторами імунної системи антитілами чи Тлімфоцитами до появи біологічно активних речовин медіаторів алергійних реакцій. 3 Патофізіологічна стадія це період...
31609. АЛЕРГІЯ. Алергійні реакції III типу за Кумбсом і Джеллом - імунокомплексні реакції 75.5 KB
  Антиген і антитіло перебувають у вільному стані не фіксовані на поверхні клітин. В результаті активації комплементу і дії продуктів які продукуються макрофагами відбувається ушкодження клітин і розвивається запалення. Алергійні реакції IV типу за Кумбсом і Джеллом гіперчутливість cповільненого типу або клітинноопосередкований тип алергії. Такими клітинами є Тхелпери1 CD41 які мають специфічні до відповідного антигену рецептори Тірецептори.
31610. РОЗЛАДИ РУХОВОЇ І ТРОФІЧНОЇ ФУНКЦІЇ НЕРВОВОЇ СИСТЕМИ 86.5 KB
  Регуляція довільних рухів поперечнопосмугованих мязів здійснюється руховим аналізатором розташованим переважно в лобовій частці кори півкуль великого мозку клітини Беца передньої центральної звивини через двохнейронний пірамідний шлях: а корковоядерний і б корковоспинномозковий. Регуляція тонусу скелетних мязів і мимовільних автоматичних рухів здійснюється екстрапірамідною системою яка складається із підкіркових ядер кінцевого мозку хвостатого сочевицеподібного ядер огорожі структур проміжного мозку таламуса...
31611. СЕРЦЕВА НЕДОСТАТНІСТЬ 87.5 KB
  Недостатність серця це патологічний стан при якому навантаження на серце перевищує його здатність виконувати роботу по переміщенню крові у кровоносному руслі та забезпечувати кровопостачання органів і тканин відповідно до їх потреб. Недостатність серця класифікують: I. У залежності від клінічного перебігу розрізняють: а гостру і б хронічну недостатність серця. За виразністю клінічних проявів виділяють: а компенсовану і б декомпенсовану недостатність серця.