19420

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации

Реферат

Информатика, кибернетика и программирование

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации. Вопрос: Как измерить информацию очень непростой. Ответ на него зависит от того что понимать под информацией. Но поскольку определять информацию можно поразному то и способы из

Русский

2013-07-12

26.65 KB

83 чел.

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.

Вопрос: «Как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Содержательный подход к измерению информации.

Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.

Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.

Но для того чтобы сообщение было информативно оно должно еще быть понятно. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.

Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Например, после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил. Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Рассмотрим еще один пример.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Применим метод половинного деления. Зададим несколько вопросов уменьшающих неопределенность знаний в два раза.

Задаем вопросы:

- Книга лежит выше четвертой полки?

- Нет.

- Книга лежит ниже третьей полки?

- Да .

- Книга — на второй полке?

- Нет.

- Ну теперь все ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределенность в два раза.

Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:

2I = N

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2I = N.

Алфавитный подход к измерению информации.

А теперь познакомимся с другим способом измерения информации. Этот способ не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Проще всего разобраться в этом на примере текста, написанного на каком-нибудь языке. Для нас удобнее, чтобы это был русский язык.

Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

Полное количество символов алфавита принято называть мощностью алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и отмеченных дополнительных символов равна 54.

Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. В действительности это не совсем так, но для упрощения примем такое предположение.

В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле, каждый такой символ несет I бит информации, которое можно определить из решения уравнения: 2I = 54. Получаем: I = 5.755 бит.

Вот сколько информации несет один символ в русском тексте! А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на I.

Посчитаем количество информации на одной странице книги. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50x60=3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации. Интересно, что сама единица измерения информации «бит» получила свое название от английского сочетания «binary digit» - «двоичная цифра».

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые — старые», «понятные — непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 24 = 16. А если N =32, то один символ «весит» 5 бит.

Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встретимся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания....

Поскольку 256 = 28, то один символ этого алфавита «весит» 8 бит. Причем 8 бит информации — это настолько характерная величина, что ей даже присвоили свое название — байт.

1 байт = 8 бит.

Сегодня очень многие люди для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов.

В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах.

Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Значит страница содержит 40x60=2400 байт информации. Объем всей информации в книге: 2400 х 150 = 360 000 байт.

В любой системе единиц измерения существуют основные единицы и производные от них.

Для измерения больших объемов информации используются следующие производные от байта единицы:

1 килобайт = 1Кб = 210 байт = 1024 байта.

1 мегабайт = 1Мб = 210 Кб = 1024 Кб.

1 гигабайт = 1Гб = 210 Мб = 1024 Мб.

Название

Условное обозначение

Соотношение с другими единицами

Килобит

Кбит

1 Кбит = 1024 бит = 210 бит ≈ 1000 бит

Мегабит

Мбит

1 Мбит = 1024 Кбит = 220 бит ≈ 1 000 000 бит

Гигабит

Гбит

1 Гбит = 1024 Мбит = 230 бит ≈ 1 000 000 000 бит

Килобайт

Кбайт (Кб)

1 Кбайт = 1024 байт = 210 байт ≈ 1000 байт

Мегабайт

Мбайт (Мб)

1 Мбайт = 1024 Кбайт = 220 байт ≈ 1 000 000 байт

Гигабайт

Гбайт (Гб)

1 Гбайт = 1024 Мбайт = 230 байт ≈ 1 000 000 000 байт

Прием-передача информации могут происходить с разной скоростью. Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока.

Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.


 

А также другие работы, которые могут Вас заинтересовать

82292. Развитие промышленности в 70-80-е годы и ее сырьевая направленность 30.54 KB
  Быстрыми темпами развивалась легкая промышленность республики. В структуре экспортных поставок республики 97 приходилось на сырье. Состояние республики определялось не уровнем жизни населения полнотой и реальностью ее суверенных прав в Союзе ССР развитием духовной культуры а суммой капиталовложений тоннами добытой руды угля нефти и других ресурсов. Таким образом в экономике республики в 7080е годы проявились все те деформации которые были характерны для народного хозяйства страны в целом.
82293. Экономическая политика в годы гражданской войны 30.88 KB
  Первыми мероприятиями советской власти в Казахстане стали: национализация крупной промышленности банков и транспорта весной 1918 года; возращение крестьянам 35 млн. Для Казахстана продразверстка стала настоящим бедствием: поголовье скота составило всего 545 в 1920 году по сравнению с 1913 годом Сокращение произошло с 299 млн. в 1913 году до 163 млн. голов в 1920; посевные площади с 42 млн.
82294. Развитие сельского хозяйства в сер.60-х-нач.80-х годы 31.31 KB
  Уравнительное распределение заработной платы снижала заинтересованность рабочих в результатах своего труда объемы производства и качество продукции. Наращивание производства сельскохозяйственных продуктов в республике проходило крайне неравномерно более высокие темпы прироста были достигнуты в девятой пятилетке 3 в год. Неустойчивым было развитие зернового производства.
82295. Создание Киргизской (Казахской) АССР и КазССР 27.83 KB
  Казревком также занялся подготовкой Учредительного съезда Советов Казахстана. 5 декабря 1936 года VIII Чрезвычайный съезд Советов СССР принял новую Конституцию в составе которой было 11 союзных республик в том числе и КазССР.
82296. Международные связи Казахстана в сер.60-х-нач.80-х годов 35.09 KB
  Во внешней политике СССР основными задачами оставались: устранение угрозы распада социалистической системы ее сплочение в политическом военном и экономическом отношениях; нормализация отношений между Востоком и Западом сосуществование в сотрудничестве. Эта политика была особенно активна иногда перерастала в прямую интервенцию в отношении стран находившихся в непосредственной сфере влияния СССР например Афганистан. Этим в свою очередь объяснялось достижение военностратегического паритета СССР и США а также рост революционной...
82297. Казахстан в условиях НЭПа. Причины перехода и сущность 28.14 KB
  Предприятия ж дорожного автомобильного транспорта добывающей и обрабатывающей промышленности были переведены на хозрасчет. К 1928 году было завершено восстановление промышленности Казахстана. Из-за большой разницы цен на продукты с х низкие и промышленности высокие крестьяне перестали сдавать зерно государству.
82298. Экологические проблемы Казахстана на современном этапе (движение Невада-Семипалатинск, Арал, Балхаш и т.д.) 33.34 KB
  Высыхание Аральского моря и возникновение зоны экологического бедствия в регионе стало возможным в результате неэкономного использования воды рек Сырдарьи и Амударьи. Сырдарья в настоящее время не доходит до моря заканчивая свой путь на полях а Амударья достигает Арала лишь зимой тоненьким ручейком. Осушенное дно моря становится источником пыли и солей разносимых на очень большие расстояния. Площадь моря разделилась на несколько самостоятельных водоемов море отошло от берегов местами на 100150 км и продолжает расчленяться.
82299. Земельно- водная реформа 1921 г, ее цели и сущность 29.36 KB
  Аграрные преобразования способствовали возвращению и укреплению социально экономического положения 300 тысяч беженцев казахов и киргизов эмигрировавших в 1916 году в Китай. Реформа способствовала укреплению союза рабочего класса и казахских шаруа узбекских дунганских уйгурских дехкан укреплению национального согласия. Кредит семенные ссуды и другие средства экономического регулирования способствовали укреплению связи государства с трудовым крестьянством восстановлению производительных сил росту трудовой активности трудящихся аула и...
82300. Противоречивость хода перестройки в Казахстане 30.94 KB
  Черненко Генеральным секретарем КПСС становится М. В преддверии поворотного ХХVII съезда КПСС в период его практической подготовки 15 января 1986 г. было опубликовано Заявление Генерального секретаря ЦК КПСС в котором была выдвинута конкретная рассчитанная на точно определенный срок до конца нынешнего столетия программа мероприятий направленных на полную и повсеместную ликвидацию ядерного и других видов оружия массового поражения. ХХVII съезде КПСС была принята новая философия внешней политики Советского Союза.