68634

ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ

Лабораторная работа

Информатика, кибернетика и программирование

Введение понятия количество информации В основе нашего мира лежат три составляющие вещество энергия и информация. А как много в мире вещества энергии и информации Можно измерить количество вещества например взвесив его.

Русский

2014-09-24

40.59 KB

46 чел.

Лабораторная работа № 1

ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ

1 Цель и содержание

Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.

Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.

2 Теоретическое обоснование

2.1 Введение понятия «количество информации»

В основе нашего мира лежат три составляющие – вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.

А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новые и понятные сведения, то такое сообщение называется информативным.

Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ – да). Для кого он будет информативным – для студентов, обучающихся в университете или учеников 1 класса? (Ответ – для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).

Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.

Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.

2.2 Вероятностный подход к определению количества информации

Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.

Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.

Контрольный пример. На экзамене приготовлено 30 билетов.

  1.  Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ – 30).
  2.  Равновероятны эти события или нет? (Ответ – равновероятны).
  3.  Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ – 30).
  4.  Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ – в 30 раз).
  5.  Зависит ли этот показатель от номера вытянутого билета? (Ответ – нет, т. к. события равновероятны).

Можно сделать следующий вывод.

Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

Таким образом 1 бит это количество информации, уменьшающее неопределенность знаний в два раза.

Группа    из    8   битов   информации   называется   байтом.   Если бит – минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).

1 Кбт = 1024 байта = 210 (1024) байтов.

1 Мбт = 1024 Кбайта = 220 (1024 • 1024) байтов.

1 Гбт = 1024 Мбайта = 230 (1024 • 1024 • 1024) байтов.

Существует формула, которая связывает между собой количество возможных событий и количество информации:

N = 2i,

где N – количество возможных вариантов;

     I – количество информации.

Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log2N.

Контрольный пример. Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?

Количество возможных вариантов выбора карты из колоды – 32 (N = 32) и все события равновероятны. Воспользуемся   формулой   определения    количества    информации  для    равновероятных    событий I = log2N = log232 = 5 (32 = 2i; 25 = 2i; отсюда I = 5 бит).

Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то  необходимо воспользоваться инженерным калькулятором;   формулу I = log2N представить как и произвести необходимые вычисления.

Контрольный пример. Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?

В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.

2.3 Неравновероятные события

Очень часто в жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации. Например:

1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятны летом, а сообщение о снеге – зимой.

2. Если вы – лучший студент в группе, то вероятность сообщения о том, что за контрольную работу вы получите 5, больше, чем вероятность получения двойки.

3. Если в мешке лежит 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.

Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу:

где I – это количество информации;

     p – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: где K – величина, показывающая, сколько раз произошло интересующее нас событие; N – общее число возможных исходов какого-то процесса.

Контрольный пример. В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

1. Найдем вероятность того, что достали белый шар:

2. Найдем вероятность того, что достали красный шар:

3. Найдем количество информации в сообщении о вытаскивании белого шара: бит.

4. Найдем количество информации в сообщении о вытаскивании красного шара: бит.

Количество информации в сообщении о том, что достали белый шар, равно 1, 1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

2.4 Алфавитный подход к измерению количества информации

При определения количества информации с помощью вероятностного подхода количество информации зависит от ее содержания, понятности и новизны. Однако любое техническое устройство не воспринимает содержание информации. Поэтому с этой точки зрения используется другой подход к измерению информации – алфавитный.

Предположим, что у нас есть текст, написанный на русском языке. Он состоит из букв русского алфавита, цифр, знаков препинания. Для простоты будем считать, что символы в тексте присутствуют с одинаковой вероятностью.

Множество используемых в тексте символов называется алфавитом. В информатике под алфавитом понимают не только буквы, но и цифры, и знаки препинания, и другие специальные знаки. У алфавита есть размер (полное количество его символов), который называется мощностью алфавита. Обозначим мощность алфавита через N. Тогда воспользуемся формулой для нахождения количества информации из вероятностного подхода: I = log2N. Для расчета количества информации по этой формуле нам необходимо найти мощность алфавита N.

Контрольный пример. Найти объем информации, содержащейся в тексте из 3000 символов, и написанном русскими буквами.

1. Найдем мощность алфавита:

N = 33 русских прописных буквы + 33 русских строчных буквы + 21 специальный знак = 87 символов.

2. Подставим в формулу и рассчитаем количество информации:

I = log287 = 6,4 бита.

Такое количество информации – информационный объем – несет один символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов.

3. Найдем объем всего текста:

6,4  3000 = 19140 бит.

Теперь дадим задание переводчику перевести этот текст на немецкий язык. Причем так, чтобы в тексте осталось 3000 символов. Содержание текста при этом осталось точно такое же. Поэтому с точки зрения вероятностного подхода количество информации также не изменится, т. е. новых и понятных знаний не прибавилось и не убавилось.

Контрольный пример. Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.

1. Найдем мощность немецкого алфавита:

N = 26 немецких прописных буквы + 26 немецких строчных букв + 21 специальный знак = 73 символа.

2. Найдем информационный объем одного символа:

I = log273 = 6,1 бит.

3. Найдем объем всего текста:

6,1  3000 = 18300 бит.

Сравнивая объемы информации русского текста и немецкого, мы видим, что на немецком языке информации меньше, чем на русском. Но ведь содержание не изменилось! Следовательно, при алфавитном подходе к измерению информации ее количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте. С точки зрения алфавитного подхода, в толстой книге информации больше, чем в тонкой. При этом содержание книги не учитывается.

Правило для измерения информации с точки зрения алфавитного подхода:

  1.  Найти мощность алфавита – N.
  2.  Найти информационный объем одного символа – I = log2N.
  3.  Найти количество символов в сообщении – K.
  4.  Найти информационный объем всего сообщения – K  I..

Контрольный пример. Найти информационный объем страницы компьютерного текста.

Примечание. В компьютере используется свой алфавит, который содержит 256 символов.

1. Найдем информационный объем одного символа:

I = log2N, где N = 256.

I = log2256 = 8 бит = 1 байт.

2. Найдем количество символов на странице (примерно, перемножив количество символов в одной строке на количество строк на странице).

40 символов на одной строке  50 строк на странице = 2000 символов.

3. Найдем информационный объем всей страницы:

1 байт  2000 символов = 2000 байт.

Информационный объем одного символа несет как раз 1 байт информации. Поэтому достаточно подсчитать количество символов в тексте, которое и даст объем текста в байтах.

Например, если в тексте 3000 символов, то его информационный объем равен 3000 байтам.

3 Задания

1. Какое количество информации будет получено при отгадывании числа из интервала от 1 до 64; от 1 до 20?

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле 3 x 3; 4 x 4?

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации?

4. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

5. В коробке лежат 36 кубиков: красные, зеленые, желтые, синие.  Сообщение о том, что достали зеленый кубик, несет 3 бита информации. Сколько зеленых кубиков было в коробке.

6. В группе учатся 12 девочек и 8 мальчиков. Какое количество информации несет сообщение, что к доске вызовут девочку; мальчика?

7. Найти объем текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении.

8. Найти информационный объем книги в 130 страниц.

9. Расположите в порядке возрастания:

   1 Мбт, 1010 Кбт, 10 000 бит, 1 Гбт, 512 байт.

10. В пропущенные места поставьте знаки сравнения <, >, =:

 1 Гбт … 1024 Кбт … 10 000 бит … 1 Мбт … 1024 байт.

4 Контрольные вопросы

1. Какое сообщение называется информативным?

2. Что значит событие равновероятно; неравновероятно?

3. Что такое 1 бит информации?

4. Как определить количество информации для равновероятных событий?

5. Как определить количество информации для неравновероятных событий?

6. В чем заключается алфавитный подход к измерению количества информации

 5 Домашняя работа

1.Установите знаки сравнения ( <, > , = ):

1байт    32бита    4байта    1Мбайт    1024Кбайт

2.Упорядочите по убыванию:

5байт    25бит    1Кбайт    1010байт

3.Упорядочите по возрастанию:

2Мбайта    13байт    48бит    2083Кбайт

4.Книга содержит 100 страниц; на каждой странице по 35 строк, в каждой строке - 50 символов. Рассчитать объем информации, содержащийся в книге.

5.Имеется следующая черно-белая картинка. Определите информационный объем этой картинки.

6.В языке племени Мумбо-Юмбо всего 129 разных слов. Сколько бит нужно чтобы закодировать любое из этих слов?

7.Подсчитать, сколько байт информации содержит следующая фраза: «Здравствуйте, ребята! Как у вас дела?»

8.Дана черно-белая картинка. Определите количество информации, содержащейся в картинке.

9.Информационный объем черно-белой картинки равен 6000бит. Какое количество точек содержит картинка


 

А также другие работы, которые могут Вас заинтересовать

12678. Настройка интерфейса Windows 2000 238 KB
  Лабораторная работа № 2 Тема: Настройка интерфейса Windows 2000. Цель: Научиться настраивать интерфейс операционной системы Windows 2000. Настройка Рабочего стола. Операционная система Windows создавалась разработчиками с расчетом сделать работу в ней в максимальной степени удо...
12679. Создание папок, файлов и ярлыков в Windows 2000 37.5 KB
  Лабораторная работа № 1 Тема: Создание папок файлов и ярлыков. Цель: Научиться работать с папками файлами и ярлыками. На диске D: в папке Мои документы создать структуру: Мои документы Название группы ...
12680. Сочетание клавиш. Использование справки в Windows 2000 71.5 KB
  Лабораторная работа №3. Тема: Сочетание клавиш. Использование справки. 1. Цель работы Познакомится с основными сочетаниями клавиш ПК научится работать со справочной системой. Часть I 1. Общие сочетания клавиш Windows. Действие ...
12681. Стандартные приложения Windows. Комплекс программ мультимедиа Развлечения 107 KB
  Стандартные приложения Windows. Цель: Ознакомиться с работой стандартных приложений Windows. Программа Проводник. Проводник в своем первоначальном значении определялся как программаобозреватель локальных и сетевых ресурсов персональног
12682. Работа с дискетами: форматирование, копирование в Windows 91.5 KB
  Лабораторная работа №5. Тема: Работа с дискетами: форматирование копирование. Цель работы: Научится выполнять обслуживание дисков с помощью служебных приложений Windows. Содержание работы Проанализировать работу Буфера обмена используя Таблицу символов. ...
12683. Работа с окнами. Переключение между программами в Windows 53 KB
  Лабораторная работа №6. Тема: Работа с окнами. Переключение между программами. Цель работы: Научиться работать с окнами изучить сочетания клавиш. Содержание работы Открыть несколько программ: калькулятор WordPad Проводник Paint. Изменить размеры окон. Ра
12684. Архивирование файлов. Программа WinRAR, WinZip 79.5 KB
  Лабораторная работа №7. Тема: Архивирование файлов. Программа WinRAR WinZip. Цель работы Научиться создавать и распаковывать архивы освоить приемы работы с программами архиваторами. Содержание работы Создать архив с помощью программы WinRAR который включает 56фай...
12685. Запись и воспроизведение звуков в Windows 76.5 KB
  Лабораторная работа 8. Тема: Запись и воспроизведение звуков. Цель: Научиться работать со звуком: записывать воспроизводить. Для записи воспроизведения и редактирования звуковых файлов в Windows используется программа Звукозапись. Для работы данной программы требу
12686. Установка программ в Windows 91.5 KB
  Лабораторная работа № 9. Тема: Установка программ. Цель: Научиться устанавливать различное программное обеспечение. Установка программ. В процессе работы с компьютером постоянно возникает необходимость устанавливать новые программы и удалять те программы котор...