20020

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации

Шпаргалка

Информатика, кибернетика и программирование

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации. Определить понятие количество информации довольно сложно. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации а работы по созданию ЭВМ привели к объемному подходу .

Русский

2013-07-25

39 KB

75 чел.

Билет 2

   --------------------------------------------------------------------------------------------------------
1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.
--------------------------------------------------------------------------------------------------------  

Определить понятие "количество информации" довольно сложно. В решении этой проблемы существует два основных подхода. Исторически они возникли почти одновременно. В конце 1940 г. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к "объемному подходу".

Количество информации как мера уменьшения неопределенности
(вероятностный подход)

С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же информации может быть оценено различными людьми по-разному. Для объективного измерения количества информации необходимо формализовать задачу.

Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.

Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.

Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.

Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода, больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания идеальной монеты (два равновозможных события) несет один бит информации.

Можно рассчитать длину сообщения в двоичном алфавите, необходимую для передачи информации. Для уменьшения неопределенности ситуации в 2n раз необходимо n бит информации.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания двух идеальных монет (четыре равновозможных события: орел-решка; решка-орел; орел-орел; решка-решка) несет два бита информации. Действительно, 2n в данном случае равняется четырем, следовательно n = 2.

Задача нахождения n по известному значению k = 2n решается нахождением логарифма числа k по основанию 2, поэтому, для того, чтобы закодировать информацию, уменьшающую неопределенность в k раз, необходимо log2k бит информации. Приведем таблицу некоторых двоичных логарифмов, являющихся целыми числами. n log2k
Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания точечного объекта на шахматную доску (равновозможные события - попадания в одну из 64 клеток) несет 6 бит информации. Действительно, k в данном случае равняется 64, log264 = 6. Минимальная длина двоичного сообщения также будет равна 6. Подробнее: номер клетки доски по вертикали можно закодировать целым числом от 0 до 7. Для этого требуется 3 двоичных разряда (см. Системы счисления). Еще 3 разряда нужны для того, чтобы закодировать номер клетки доски по горизонтали, 3+3=6. Можно также просто пронумеровать все клетки числами от 0 до 63. Для этого опять-таки потребуется 6 разрядов.

Если используется алфавит, состоящий не из двух, а из 2p знаков, то каждый знак может нести информацию, уменьшающую неопределенность ситуации в 2p раз. Таким образом, сообщение из m знаков позволяет уменьшить неопределенность в (2p)m = 2pm раз, то есть его информационный объем равен m·p бит, что согласуется с результатом, полученным при использовании алфавитного подхода.

Пример. Пусть для кодирования сообщения о попадании точечного объекта на клетку шахматной доски используется алфавит из 8 символов (2p = 8, следовательно p = 3). Сообщение уменьшает неопределенность в 64 раза, следовательно 2pm = 23m = 64, отсюда 3m = log264 = 6; m = 2, то есть для кодирования информации попадании точечного объекта на клетку шахматной доски потребуется сообщение из двух знаков восьмисимвольного алфавита. Действительно, в первом знаке сообщения можно закодировать, например, информацию о горизонтали клетки, а во втором — о вертикали. В общепринятой шахматной нотации фактически используется указанный способ именования клеток, только для удобства чтения первый символ сообщения записывается как буква, а второй - как цифра. С математической точки зрения ничто не мешает обозначать клетки a1 и h8 как aa и hh или 11 и 88, используя только 8 символов.

Алфавитный подход

Если информация представлена в виде дискретного сообщения, то логично считать количеством информации его длину, то есть общее число знаков в сообщении. Но длина сообщения зависит не только от содержащейся в нем информации. На нее влияет мощность алфавита используемого языка. Чем меньше знаков в используемом алфавите, тем длиннее сообщение. Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.

Пример: Сигнал SOS: 3 знака в латинском алфавите;

11 знаков в алфавите Морзе: ··· пауза – – – пауза ···.

Для упорядочивания измерений информационный объем сообщений принято измерять в битах. Один бит соответствует одному знаку двоичного алфавита. Итак, чтобы измерить длину сообщения, его нужно представить в двоичном виде и подсчитать количество двоичных знаков – битов. При этом совсем не обязательно уметь интерпретировать сообщения.

Пример: Пусть сообщение в двоичном алфавите выглядит следующим образом: 000100010001. Мы не знаем, какая информация была заложена в этом сообщении, но можем легко подсчитать его длину – 12 двоичных знаков, следовательно, его информационный объем равен 12-ти битам.

Такой способ измерения количества информации называется алфавитным подходом. При этом измеряется не содержание информации с точки зрения его новизны и полезности, а размер несущего информацию сообщения. Мы уже убедились, что при алфавитном подходе к определению количества информации одни и те же сведения, закодированные по-разному, будут иметь различный информационный объем. Сообщения одинаковой длины могут нести совершенно как совершенно бесполезные сведения, так и нужную информацию. Пример: Применяя алфавитный подход, получаем, что информационный объем слов “фыырпбьощ” и “компьютер” совершенно одинаков, а слов “ученик” и “учащийся” – различен.

Если алфавит содержит 2n знаков, то каждый из его знаков можно закодировать с помощью n знаков двоичного алфавита. Таким образом, объем информации, содержащейся в сообщении длиной m при использовании алфавита мощностью 2n, равен m·n бит.
Пример:

Найдем информационный объем слова SOS, записанного в компьютерной кодировке. При кодировании букв в компьютере используется либо алфавит ASCII (American Standard Code for Information Interchange — американский стандартный код обмена информацией), состоящий из 28=256 знаков, либо алфавит Unicode, мощность которого 216 = 65536. В слове SOS три буквы, следовательно, его информационный объем 3·8=24 или 3·16=48 бит, в зависимости от используемой кодировки.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами. Действительно, устройствам нет дела до содержательной стороны сообщений. Компьютеры, принтеры, модемы работают не с самой информацией а с ее представлением в виде сообщений. Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Единицы измерения информации

Для удобства, помимо бита используются более крупные единицы измерения количества информации. Вот соотношения между ними:

То, что отношения между единицами измерения кратны степеням 2, объясняется большим теоретическим и практическим значением двоичного кодирования в информатике.

  --------------------------------------------------------------------------------------------------------
2. Создание и редактирование текстового документа (исправление ошибок, удаление или вставка текстовых фрагментов), в том числе использование элементов форматирования текста (установка параметров шрифта и абзаца, внедрение заданных объектов в текст).
--------------------------------------------------------------------------------------------------------


 

А также другие работы, которые могут Вас заинтересовать

48059. Взаємозвязок діалогічного та монологічного мовлення 40.5 KB
  Взаємозвязок діалогічного та монологічного мовлення. Показати взаємозвязок діалогічного та монологічного мовлення на конкретних прикладах; ознайомити з видами опор при навчанні звязного мовлення молодших школярів; навчити складати структурні схемиопори для монологічних висловлювань розповідного та описового характеру. Вивчіть схему Види опор в навчанні звязного мовлення та дайте відповідь на питання: Які опори доцільно використати для навчання монологічного мовлення а які для діалогічного мовлення Види опор в навчанні звязного...
48060. Методика подготовки к семинарским занятиям 37.5 KB
  Приступая к подготовке к семинару по конкретной теме студент должен подробно изучить соответствующий раздел программы курса где в самом сжатом виде определены основные вопросы дана их последовательность а также указана рекомендованная учебная литература основная и дополнительная. Завершающий этап подготовки к семинарам это ответы на проверочные вопросы и выполнение тестовых заданий которые помогут правильно осмыслить изученный материал и проверить приобретенные знания. Если пройдены все этапы самостоятельной работы то на семинаре Вы...
48061. РОДОСЛОВНАЯ 41.5 KB
  Аягуз Национальность по матери и по отцу фактическая а не паспортная Образование Профессия место работы занимаемая должность Рост пробанда Вес пробанда Дата составления родословной Метод сбора информации: со слов указать с чьих анкетирование личное обследование родственников ГРАФИЧЕСКОЕ ИЗОБРАЖЕНИЕ РОДОСЛОВНОЙ После сбора генеалогической информации переходят к графическому изображению семейного древа рис. При составлении родословной используют общепринятые условные обозначения...
48062. Методика виховної роботи у військових підрозділах 1.48 MB
  Методика виховної роботи у військових підрозділах Рекомендовано Міністерством освіти і науки України як навчальний посібник для студентів вищих навчальних закладів Суми Видво СумДУ 2008 УДК 355.2072 П 30 Рекомендовано Міністерством освіти і науки України лист № 1.2 Воєнна доктрина України
48063. Методичні вказівки. Програмування 1023 KB
  Містить методичні рекомендації щодо основних етапів виконання курсової роботи її структури та складу.050102 Компютерна інженерія передбачено вивчення на першому курсі дисципліни Програмування та виконання курсової роботи з цього предмету. Курсова робота призначена для придбання практичних навичок розробки алгоритмів та програм на мові Сі для розвязання найбільш важливих та поширених задач програмування необхідних для кожного програміста Метою курсової роботи є закріплення та поглиблення знань отриманих студентами на лекційних...
48064. Мікроекономіка. Конспект лекцій 1.71 MB
  Крива ринкового попиту Цінова еластичність попиту. Еластичність попиту за доходом. Перехресна еластичність попиту.
48066. Місцеве самоврядування 1.76 MB
  Право місцевого самоврядування комплексна галузь права. Право місцевого самоврядування як наука і навчальна дисципліна. Поняття муніципального права України Муніципальне право України галузь права України норми якої виражають волю й інтереси її народу держави та територіальних громад і регулюють суспільні відносини у сфері місцевого самоврядування.
48067. Міжнародна економіка. Опорний конспект лекцій 265.5 KB
  Міжнародне регулювання і нагляд Економічні Фінансові Міжнародні організації Форми МЕВ Міжнародна торгівля Міжнародний рух чинників виробництва Міжнародна торгівля фінансовими інструментами Товарами Послугами Капітал Робоча сила Технології Валютою Цінними паперами Кредитами Розрахунки Державне регулювання Регулювання зовнішньої торгівлі Регулювання руху чинників виробництва Валютне та банківське Регулювання Мікроекономічна політика Макроекономічна політика Базові поняття...