Чтение онлайн

Резонно спросить: а есть ли основания для столь пессимистических прогнозов? Чтобы ответить на этот вопрос, надо заглянуть в кратер этого вулкана. Но предварительно вооружимся инструментом для измерения информации.

Математики и физики сошлись на том, что за единицу информации и удобно и логично принять такую дозу информации, которая уменьшает наше незнание в каком-то вопросе вдвое. При этом, конечно, полностью игнорируется значимость этого выбора.

Вот несколько примеров получения информации, равной единице.

— В каком полушарии находится самая высокая горная вершина?

— В северном.

— В какой половине года планировать вам отпуск?

— В первой.

Студент в растерянности: долг обязывает идти на лекцию, неутоленная жажда приключений зовет в кино на новый детектив. Как сделать выбор из двух возможностей? Бросается монета. Ура! Детектив!

Все это ситуации, в которых информация получается при выборе одной из двух равноправных возможностей.

Перейдем теперь к более сложному случаю — к выбору из четырех возможных исходов. Так, если понадобилось планировать отпуск с точностью до квартала, то во втором примере надо задать еще один вопрос:

— В каком квартале первого полугодия?

— Во втором.

Еще один пример. Ваш приятель спрятал, под одной из четырех пиал монету. Как с помощью только двух заданных ему вопросов с ответами только «да» или «нет» найти ее?

— Монета находится под первой или второй пиалой?

— Нет.

— Монета находится под четвертой пиалой?

— Нет.

Монета найдена, она под третьей пиалой.

Из примеров следует, что при выборе из четырех равноправных исходов уже нужна не одна, а две единицы информации.

Если бы мы запрятали монету под восемь пиал, то для отгадки понадобилось бы не две, а три единицы информации. После первого вопроса: «Где монета: в первых четырех или последующих четырех пиалах?» — мы пришли бы к ситуации с четырьмя пиалами. Следовательно, нахождение монеты при восьми вариантах требует трех единиц информации. Не рискуя дальше наращивать число пиал, прошу читателя поверить такой табличке:

и так далее

Из этих данных усматривается любопытная зависимость между числом вариантов N, или исходов, и числом единиц информации I, необходимыми для принятия решения:

Логарифмируя это выражение по основанию два, получаем:

Вот мы и вывели сообща формулу для вычисления необходимого количества информации, которую предложил американский ученый Р. Хартли еще в 1928 году. Она гласит: «Информация, необходимая для выбора из N равноправных вариантов, равна логарифму числа вариантов».

Логарифмическая функция, знакомая из школы, возрастает очень медленно с ростом числа. Значит, и потребное количество информации с ростом числа вариантов растет очень медленно. Так, продолжая нашу таблицу для большого числа исходов, легко находим, что при 512 вариантах необходимо только 9 единиц информации, чтобы принять решение, а при N = 4096 только на три единицы больше, то есть 12.

Иногда удивляются тому, как опытный следователь, получая от обвиняемого скупые ответы только в виде единиц информации — «да» или «нет», быстро распутывает дело. Ему, безусловно, помогает выведенная нами логарифмическая зависимость.

Единичная доза информации, которая получается из нашей формулы, если в ней положить N = 2 (log2 2 = 1), получила международное название «бит». Оно происходит от сокращения английских слов binary digit, что значит — двоичная единица.

В жизни мы на каждом шагу пользуемся этой минимальной дозой информации в один бит. Кто не подсказывал в школе товарищу движением головы, чтобы сообщить ему ровно один бит информации — «да» или «нет»? Не случайно жизнь выработала этот метод четкого вопроса — «да» или «нет»? Он требует принятия решения и четкого ответа в виде одного бита информации — «либо да, либо нет», он требует ухода из болота «ни да, ни нет», «скорей да, чем нет», «и да и нет».

Бит обладает ценными свойствами. Он наиболее прост и надежен при передаче информации на расстояние: кивок головой, взмах рукой, голос, выстрел, взрыв, световой зайчик, костер, ракета и т. д.

Для систем проводной и радиосвязи бит просто клад. В силу своей простоты — ведь надо передать только «да» или «нет» — он отлично сражается с помехами и обеспечивает наибольшую дальность и наименьшие ошибки.

В «жилах» ЭВМ тоже в большинстве случаев бегут биты — они наиболее надежны, они упрощают конструкцию, они подчиняются простейшей логике.

Наконец, самое главное — из этих простых дальнобойных посылок типа «да» — «нет» (в канале связи это может быть + и –, 0 и 1, излучение и отсутствие излучения) можно составить любую сложную информацию (как из простых кирпичей создают чудеса архитектуры). Даже, точнее сказать, наоборот: любую информацию — речь, музыку, изображение — можно разложить на простые биты типа «да» — «нет», передать их в таком надежном виде по каналам связи, а затем снова сложить из них исходную информацию.

Итак, если мы передаем из одной точки пространства в другую одну посылку, которая может принимать только одно из двух равновероятных значений — «да» или «нет», — то мы сообщаем ровно один бит информации.

При этом передаваемая информация, конечно, совершенно не зависит от вида переносчика и от длительности посылки. Это может быть звук, свет, электрический ток, радиоволна, луч лазера; а длительность любая — микросекунда, секунда, час, год и т. д.

Как же практически пересчитать объем информации, содержащийся в той или иной книге, например в Большой Советской Энциклопедии, в биты?

Русский алфавит состоит из 32 букв. Каждой букве можно поставить в соответствие комбинацию из пяти символов типа «да» — «нет» (25 = 32). Однако в тексте встречаются еще цифры, знаки препинания и другие вспомогательные знаки: скобки, кавычки, тире и т. д. Поэтому возьмем комбинацию не из пяти, а из шести символов.