20020

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации

Шпаргалка

Информатика, кибернетика и программирование

Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации. Определить понятие количество информации довольно сложно. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации а работы по созданию ЭВМ привели к объемному подходу .

Русский

2013-07-25

39 KB

75 чел.

Билет 2

   --------------------------------------------------------------------------------------------------------
1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.
--------------------------------------------------------------------------------------------------------  

Определить понятие "количество информации" довольно сложно. В решении этой проблемы существует два основных подхода. Исторически они возникли почти одновременно. В конце 1940 г. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к "объемному подходу".

Количество информации как мера уменьшения неопределенности
(вероятностный подход)

С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же информации может быть оценено различными людьми по-разному. Для объективного измерения количества информации необходимо формализовать задачу.

Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.

Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.

Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.

Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода, больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания идеальной монеты (два равновозможных события) несет один бит информации.

Можно рассчитать длину сообщения в двоичном алфавите, необходимую для передачи информации. Для уменьшения неопределенности ситуации в 2n раз необходимо n бит информации.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания двух идеальных монет (четыре равновозможных события: орел-решка; решка-орел; орел-орел; решка-решка) несет два бита информации. Действительно, 2n в данном случае равняется четырем, следовательно n = 2.

Задача нахождения n по известному значению k = 2n решается нахождением логарифма числа k по основанию 2, поэтому, для того, чтобы закодировать информацию, уменьшающую неопределенность в k раз, необходимо log2k бит информации. Приведем таблицу некоторых двоичных логарифмов, являющихся целыми числами. n log2k
Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания точечного объекта на шахматную доску (равновозможные события - попадания в одну из 64 клеток) несет 6 бит информации. Действительно, k в данном случае равняется 64, log264 = 6. Минимальная длина двоичного сообщения также будет равна 6. Подробнее: номер клетки доски по вертикали можно закодировать целым числом от 0 до 7. Для этого требуется 3 двоичных разряда (см. Системы счисления). Еще 3 разряда нужны для того, чтобы закодировать номер клетки доски по горизонтали, 3+3=6. Можно также просто пронумеровать все клетки числами от 0 до 63. Для этого опять-таки потребуется 6 разрядов.

Если используется алфавит, состоящий не из двух, а из 2p знаков, то каждый знак может нести информацию, уменьшающую неопределенность ситуации в 2p раз. Таким образом, сообщение из m знаков позволяет уменьшить неопределенность в (2p)m = 2pm раз, то есть его информационный объем равен m·p бит, что согласуется с результатом, полученным при использовании алфавитного подхода.

Пример. Пусть для кодирования сообщения о попадании точечного объекта на клетку шахматной доски используется алфавит из 8 символов (2p = 8, следовательно p = 3). Сообщение уменьшает неопределенность в 64 раза, следовательно 2pm = 23m = 64, отсюда 3m = log264 = 6; m = 2, то есть для кодирования информации попадании точечного объекта на клетку шахматной доски потребуется сообщение из двух знаков восьмисимвольного алфавита. Действительно, в первом знаке сообщения можно закодировать, например, информацию о горизонтали клетки, а во втором — о вертикали. В общепринятой шахматной нотации фактически используется указанный способ именования клеток, только для удобства чтения первый символ сообщения записывается как буква, а второй - как цифра. С математической точки зрения ничто не мешает обозначать клетки a1 и h8 как aa и hh или 11 и 88, используя только 8 символов.

Алфавитный подход

Если информация представлена в виде дискретного сообщения, то логично считать количеством информации его длину, то есть общее число знаков в сообщении. Но длина сообщения зависит не только от содержащейся в нем информации. На нее влияет мощность алфавита используемого языка. Чем меньше знаков в используемом алфавите, тем длиннее сообщение. Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.

Пример: Сигнал SOS: 3 знака в латинском алфавите;

11 знаков в алфавите Морзе: ··· пауза – – – пауза ···.

Для упорядочивания измерений информационный объем сообщений принято измерять в битах. Один бит соответствует одному знаку двоичного алфавита. Итак, чтобы измерить длину сообщения, его нужно представить в двоичном виде и подсчитать количество двоичных знаков – битов. При этом совсем не обязательно уметь интерпретировать сообщения.

Пример: Пусть сообщение в двоичном алфавите выглядит следующим образом: 000100010001. Мы не знаем, какая информация была заложена в этом сообщении, но можем легко подсчитать его длину – 12 двоичных знаков, следовательно, его информационный объем равен 12-ти битам.

Такой способ измерения количества информации называется алфавитным подходом. При этом измеряется не содержание информации с точки зрения его новизны и полезности, а размер несущего информацию сообщения. Мы уже убедились, что при алфавитном подходе к определению количества информации одни и те же сведения, закодированные по-разному, будут иметь различный информационный объем. Сообщения одинаковой длины могут нести совершенно как совершенно бесполезные сведения, так и нужную информацию. Пример: Применяя алфавитный подход, получаем, что информационный объем слов “фыырпбьощ” и “компьютер” совершенно одинаков, а слов “ученик” и “учащийся” – различен.

Если алфавит содержит 2n знаков, то каждый из его знаков можно закодировать с помощью n знаков двоичного алфавита. Таким образом, объем информации, содержащейся в сообщении длиной m при использовании алфавита мощностью 2n, равен m·n бит.
Пример:

Найдем информационный объем слова SOS, записанного в компьютерной кодировке. При кодировании букв в компьютере используется либо алфавит ASCII (American Standard Code for Information Interchange — американский стандартный код обмена информацией), состоящий из 28=256 знаков, либо алфавит Unicode, мощность которого 216 = 65536. В слове SOS три буквы, следовательно, его информационный объем 3·8=24 или 3·16=48 бит, в зависимости от используемой кодировки.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами. Действительно, устройствам нет дела до содержательной стороны сообщений. Компьютеры, принтеры, модемы работают не с самой информацией а с ее представлением в виде сообщений. Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Единицы измерения информации

Для удобства, помимо бита используются более крупные единицы измерения количества информации. Вот соотношения между ними:

То, что отношения между единицами измерения кратны степеням 2, объясняется большим теоретическим и практическим значением двоичного кодирования в информатике.

  --------------------------------------------------------------------------------------------------------
2. Создание и редактирование текстового документа (исправление ошибок, удаление или вставка текстовых фрагментов), в том числе использование элементов форматирования текста (установка параметров шрифта и абзаца, внедрение заданных объектов в текст).
--------------------------------------------------------------------------------------------------------


 

А также другие работы, которые могут Вас заинтересовать

27782. Педагогика сотрудничества 19.18 KB
  в советской педагогике получает развитие новое направление педагогика сотрудничества система методов приемов обучения и воспитания основанных на принципе гуманизма и творческого подхода к развитию личности. Педагогика сотрудничества базировалась на следующих принципах: обучение как творческое взаимодействие учителя и учащихся; обучение без принуждения; идея трудной цели; идея крупных блоков объединение несколько уроков в блоки; использование опор опорные сигналы схемы детали; самоанализ деятельности коллективный...
27783. И.И. Бецкой (1704–1795) 23.11 KB
  Бецкой 17041795 является заметной личностью в России XVIII в. Для этого дела был привлечен Иван Иванович Бецкой. В Генеральном учреждении о воспитании обоего пола юношества 1764 получившем силу закона Бецкой сформулировал понятие воспитания которое по его словам должно придать известное направление воле и сердцу выработать характер внушить согласное с природой человека здравое чувство нравы и правила искоренить предрассудки. Бецкой перечисляет добродетели и качества принадлежащие к доброму воспитанию: утверждать сердце в...
27784. Социализирующие функции религиозных организаций 18.38 KB
  В социализации человека религия и религиозные организации общности верующих при молитвенных центрах были важнейшим после семьи фактором. Кроме того различные конфессии ведут активную работу по привлечению в свои ряды новых верующих. В процессе социализации верующих религиозные организации реализуют ряд функций. Это осуществляется в процессе коллективных культовых действий и всей жизнедеятельности организаций а также через различные формы контроля в одних конфессиях более в других менее жесткого за соответствием жизни верующих...
27785. Личностно-ориентированные педагогические технологии 15.04 KB
  В педагогике и педагогической психологии до настоящего момента были предприняты различные попытки определить сущность личностноориентированного обучения. Якиманской признание ученика главной действующей фигурой всего образовательного процесса и есть личностноориентированная педагогика. Для выстраивания модели личностноориентированного обучения она считает необходимым различать следующие понятия.
27786. Социально-педагогическая технология 16.42 KB
  Она может рассматриваться: как обоснование описание этапов методов и средств социальнопедагогической деятельности обеспечивающих достижение определенного результата; как целесообразная оптимальная последовательность деятельности направленная на достижение определенной социальнопедагогической цели. Мардахаев полагает что в каждой конкретной ситуации социальному педагогу необходимо уяснить: Социальнопедагогическую цель к чему стремиться чего следует добиваться; Условия ее реализации; Особенности и возможности объекта; ...
27787. Джон Локк (1632-1704) 20.34 KB
  Из всех людей с которыми мы встречаемся девять десятых становится тем что они есть: добрыми или злыми полезными или нет благодаря воспитанию говорил Локк. Джентльмен должен получить физическое нравственное и умственное воспитание но не в школе ибо школа по мнению Локка это учреждение где собрана пестрая толпа дурно воспитанных порочных мальчиков всякого состояния. Локк исходя из практики аристократических семейств рекомендовал поручить все дело воспитания джентльмена хорошо подготовленному солидному воспитателю.
27788. ПОСЛЕДСТВИЯ НАСИЛИЯ У ДЕТЕЙ 115 KB
  Среди отдаленных последствий жестокого обращения с детьми выделяются нарушения физического и психического развития ребенка различные соматические заболевания личностные и эмоциональные нарушения социальные последствия. Нарушения физического и психического развития У большинства детей живущих в семьях в которых тяжелое физическое наказание брань в адрес ребенка являются методами воспитания или в семьях где они лишены тепла внимания например в семьях родителейалкоголиков имеются признаки задержки физического и...
27789. ФОРМЫ РАБОТЫ СОЦИАЛЬНОГО ПЕДАГОГА ПО ПРОФОРИЕНТАЦИИ 56 KB
  Общие сведения о профессии: Краткая характеристика отрасли народного хозяйства где применяется профессия краткий исторический очерк и перспективы развития профессии основные специальности связанные с данной профессией. Производственное содержание профессии: Место и роль профессии в научнотехническом прогрессе ее перспективность; предмет средства и продукт труда; содержание и характер функция трудовой деятельности; объем механизации и автоматизации труда; общие и специальные знания и умения специалиста данной профессии моральные...
27790. ПРАВИЛА ДЛЯ УЧАЩИХСЯ 96 KB
  ПРАВА РЕБЕНКА В ШКОЛЕ Какие права связаны с правом на образование Право на образование следует рассматривать как совокупность прав: 1 на выбор образовательного учреждения или образовательной программы; 2 на получение образования в соответствии с установленными стандартами; 3 на обучение в условиях гарантирующих безопасность ребенка; 4 на уважение своего человеческого достоинства уважительное отношение со стороны персонала образовательного учреждения; 5 на обучение осуществляемое на современной учебноматериальной базе; 6 на...