20020

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации

Шпаргалка

Информатика, кибернетика и программирование

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации. Определить понятие количество информации довольно сложно. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации а работы по созданию ЭВМ привели к объемному подходу .

Русский

2013-07-25

39 KB

75 чел.

Билет 2

   --------------------------------------------------------------------------------------------------------
1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.
--------------------------------------------------------------------------------------------------------  

Определить понятие "количество информации" довольно сложно. В решении этой проблемы существует два основных подхода. Исторически они возникли почти одновременно. В конце 1940 г. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к "объемному подходу".

Количество информации как мера уменьшения неопределенности
(вероятностный подход)

С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же информации может быть оценено различными людьми по-разному. Для объективного измерения количества информации необходимо формализовать задачу.

Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.

Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.

Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.

Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода, больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания идеальной монеты (два равновозможных события) несет один бит информации.

Можно рассчитать длину сообщения в двоичном алфавите, необходимую для передачи информации. Для уменьшения неопределенности ситуации в 2n раз необходимо n бит информации.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания двух идеальных монет (четыре равновозможных события: орел-решка; решка-орел; орел-орел; решка-решка) несет два бита информации. Действительно, 2n в данном случае равняется четырем, следовательно n = 2.

Задача нахождения n по известному значению k = 2n решается нахождением логарифма числа k по основанию 2, поэтому, для того, чтобы закодировать информацию, уменьшающую неопределенность в k раз, необходимо log2k бит информации. Приведем таблицу некоторых двоичных логарифмов, являющихся целыми числами. n log2k
Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания точечного объекта на шахматную доску (равновозможные события - попадания в одну из 64 клеток) несет 6 бит информации. Действительно, k в данном случае равняется 64, log264 = 6. Минимальная длина двоичного сообщения также будет равна 6. Подробнее: номер клетки доски по вертикали можно закодировать целым числом от 0 до 7. Для этого требуется 3 двоичных разряда (см. Системы счисления). Еще 3 разряда нужны для того, чтобы закодировать номер клетки доски по горизонтали, 3+3=6. Можно также просто пронумеровать все клетки числами от 0 до 63. Для этого опять-таки потребуется 6 разрядов.

Если используется алфавит, состоящий не из двух, а из 2p знаков, то каждый знак может нести информацию, уменьшающую неопределенность ситуации в 2p раз. Таким образом, сообщение из m знаков позволяет уменьшить неопределенность в (2p)m = 2pm раз, то есть его информационный объем равен m·p бит, что согласуется с результатом, полученным при использовании алфавитного подхода.

Пример. Пусть для кодирования сообщения о попадании точечного объекта на клетку шахматной доски используется алфавит из 8 символов (2p = 8, следовательно p = 3). Сообщение уменьшает неопределенность в 64 раза, следовательно 2pm = 23m = 64, отсюда 3m = log264 = 6; m = 2, то есть для кодирования информации попадании точечного объекта на клетку шахматной доски потребуется сообщение из двух знаков восьмисимвольного алфавита. Действительно, в первом знаке сообщения можно закодировать, например, информацию о горизонтали клетки, а во втором — о вертикали. В общепринятой шахматной нотации фактически используется указанный способ именования клеток, только для удобства чтения первый символ сообщения записывается как буква, а второй - как цифра. С математической точки зрения ничто не мешает обозначать клетки a1 и h8 как aa и hh или 11 и 88, используя только 8 символов.

Алфавитный подход

Если информация представлена в виде дискретного сообщения, то логично считать количеством информации его длину, то есть общее число знаков в сообщении. Но длина сообщения зависит не только от содержащейся в нем информации. На нее влияет мощность алфавита используемого языка. Чем меньше знаков в используемом алфавите, тем длиннее сообщение. Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.

Пример: Сигнал SOS: 3 знака в латинском алфавите;

11 знаков в алфавите Морзе: ··· пауза – – – пауза ···.

Для упорядочивания измерений информационный объем сообщений принято измерять в битах. Один бит соответствует одному знаку двоичного алфавита. Итак, чтобы измерить длину сообщения, его нужно представить в двоичном виде и подсчитать количество двоичных знаков – битов. При этом совсем не обязательно уметь интерпретировать сообщения.

Пример: Пусть сообщение в двоичном алфавите выглядит следующим образом: 000100010001. Мы не знаем, какая информация была заложена в этом сообщении, но можем легко подсчитать его длину – 12 двоичных знаков, следовательно, его информационный объем равен 12-ти битам.

Такой способ измерения количества информации называется алфавитным подходом. При этом измеряется не содержание информации с точки зрения его новизны и полезности, а размер несущего информацию сообщения. Мы уже убедились, что при алфавитном подходе к определению количества информации одни и те же сведения, закодированные по-разному, будут иметь различный информационный объем. Сообщения одинаковой длины могут нести совершенно как совершенно бесполезные сведения, так и нужную информацию. Пример: Применяя алфавитный подход, получаем, что информационный объем слов “фыырпбьощ” и “компьютер” совершенно одинаков, а слов “ученик” и “учащийся” – различен.

Если алфавит содержит 2n знаков, то каждый из его знаков можно закодировать с помощью n знаков двоичного алфавита. Таким образом, объем информации, содержащейся в сообщении длиной m при использовании алфавита мощностью 2n, равен m·n бит.
Пример:

Найдем информационный объем слова SOS, записанного в компьютерной кодировке. При кодировании букв в компьютере используется либо алфавит ASCII (American Standard Code for Information Interchange — американский стандартный код обмена информацией), состоящий из 28=256 знаков, либо алфавит Unicode, мощность которого 216 = 65536. В слове SOS три буквы, следовательно, его информационный объем 3·8=24 или 3·16=48 бит, в зависимости от используемой кодировки.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами. Действительно, устройствам нет дела до содержательной стороны сообщений. Компьютеры, принтеры, модемы работают не с самой информацией а с ее представлением в виде сообщений. Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Единицы измерения информации

Для удобства, помимо бита используются более крупные единицы измерения количества информации. Вот соотношения между ними:

То, что отношения между единицами измерения кратны степеням 2, объясняется большим теоретическим и практическим значением двоичного кодирования в информатике.

  --------------------------------------------------------------------------------------------------------
2. Создание и редактирование текстового документа (исправление ошибок, удаление или вставка текстовых фрагментов), в том числе использование элементов форматирования текста (установка параметров шрифта и абзаца, внедрение заданных объектов в текст).
--------------------------------------------------------------------------------------------------------


 

А также другие работы, которые могут Вас заинтересовать

75378. ПРИНЦИПЫ ЗАПИСИ ИНФОРМАЦИИ НА КОМПАКТ-ДИСКЕ И ЕЕ СЧИТЫВАНИЯ 281 KB
  Этапы производства оптических дисков фотолитография процесс изготовления штампа диска. Считывание информации с поверхности диска Принцип считывания информации: регистрация изменения мощности отражённого света. Различие между дисками только для чтения и дисками однократной многократной записи заключается в способе формирования питов.
75379. Преимущества оптического волокна как среды для передачи информации 225.5 KB
  Полезная ширина полосы одиночно излученного светового импульса определяется импульсной передаточной функцией рассматриваемого оптического волокна ОВ. Учитывая что оптическая ширина полосы волокна определяется импульсной передаточной функцией этого волокна можно показать что измеренная на уровне 3 дБ по мощности оптическая ширина полосы Во оценивается с помощью показателя полная ширина полосы на уровне половины от максимума...
75380. Затухание оптического излучения в волокне 167.5 KB
  Существовало две глобальных проблемы при разработке оптических систем передачи данных: 1) источник света и 2) носитель сигнала. Первая разрешилась с изобретением лазеров в 1960 году, вторая - с появлением высококачественных оптических кабелей в 1970 году
75381. ХРОМАТИЧЕСКАЯ ДИСПЕРСИЯ В ОДНОМОДОВОМ ВОЛОКНЕ И УШИРЕНИЕ ПЕРЕДАВАЕМОГО ИМПУЛЬСА 113 KB
  В полосе прозрачности 850 нм более длинные волны распространяются с большей скоростью чем короткие например излучение на длине волны 865 нм распространяется в кварцевом стекле с большей скоростью чем излучение на длине волны 835 нм. Совсем наоборот происходит в полосе прозрачности 1550 нм: более короткие длины волн распространяются с большими скоростями чем более длинные излучение с длиной волны 1535 нм распространяется быстрее чем с длиной волны 1560 нм. Спектр оптического сигнала имеет конечную ширину ...
75382. МЕЖМОДОВАЯ ДИСПЕРСИЯ В МНОГОМОДОВОМ ВОЛОКНЕ 74 KB
  Импульсы излучения для мод более высоких порядков появляются на выходе из волокна позже Траектории лучей в градиентном волокне Многомодовое волокно со ступенчатым поперечным распределением показателя преломления Групповая скорость распространения света в волокне...
75383. МЕХАНИЗМЫ ВОЗНИКНОВЕНИЯ ПОТЕРЬ ИЗ-ЗА НЕСОВЕРШЕНСТВА ВОЛОКНА 50 KB
  Главная цель производителя оптоволокна получить более точную геометрию волокна. Три параметра как показала практика оказывают наибольшее влияние на характеристики сростка: концентричность сечений сердцевины и оболочки допуск на диаметр оболочки и собственный изгиб волокна. Улучшение этой характеристики при производстве волокна уменьшает шанс неточного расположения сердцевины что способствует получению сростков с меньшими потерями.
75385. Способы выражения информации о виде. Типы видовых основ и регулярные способы видообразования 25.5 KB
  Способы выражения информации о виде. Типы видовых основ и регулярные способы видообразования. Способы выражения информации о виде. с глаголами совершеного вида: нельзя сказать кончить прочитать редкий способ.
75386. Категория времени у причастий и деепричастий. Абсолютная и относительная временная ориентация. Условия конкуренции абсолютной и относительной ориентации в русском 20.46 KB
  Причастия сохраняют видовое значение глагола и при помощи специальных суффиксов выражают значение времени – настоящего или прошедшего. Соответственно все причастия делятся на причастия настоящего и прошедшего времени. Причастия наст. Причастия прош.