Сколько информации содержит сообщение о том что из колоды карт достали король пик
Обновлено: 02.07.2024
Измерение информации: содержательный подход
Как измерить знания у человека? Вспомним определение информации и знаний.
Чтобы узнать что-то, люди задают вопросы. Наименьшую порцию знаний человек получает услышав в ответ "ДА" или "НЕТ". Если вопрос сформулирован правильно, то область незнания (неопределенность знаний) уменьшается в 2 раза. Минимальная порция получила название бит : binary digit - двоичная цифра.
Неопределенность знаний о некотором событии - это количество возможных результатов события.
Среди каких чисел ищем | Вопрос | Ответ | Бит |
1 2 3 4 5 6 7 8 | Число > 4 | Да | 1 |
5 6 7 8 | Число > 6 | Нет | 0 |
5 6 | Это число = 5 | Да | 1 |
Задумано число 5. Получили результат за 3 вопроса. Знания увеличились на 3 бита: 101. Нетрудно понять, что при 16 числах понадобится 4 вопроса и т.д.
Среди каких чисел ищем | Вопрос | Ответ | Бит |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | Число > 8 | Да | 1 |
9 10 11 12 13 14 15 16 | Число 10 | Нет | 0 |
9 10 | Это число = 10 | Нет | 0 |
Задумано число 9. Объем знаний возрос на 4 бита: 1100
Составим таблицу количества возможных вариантов выбора и объема информации, получаемой при решении задачи.
Количество вариантов | Количество вопросов (бит) |
2 | 1 |
4 | 2 |
8 | 3 |
16 | 4 |
32 | 5 |
64 | 6 |
128 | 7 |
256 | 8 |
512 | 9 |
1024 | 10 |
. | . |
Пример: после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил: "Зачет", "незачет"? "2", "3", "4" или "5"?
N количество вариантов | i количество вопросов (бит) | Связь между N и i |
2 | 1 | 2 1 |
4 | 2 | 2 2 |
8 | 3 | 2 3 |
16 | 4 | 2 4 |
32 | 5 | 2 5 |
64 | 6 | 2 6 |
128 | 7 | 2 7 |
256 | 8 | 2 8 |
512 | 9 | 2 9 |
1024 | 10 | 2 10 |
. | . | . |
Формула вычисления количества информации
2 i = N
В перемешенной колоде выпадение любой карты равновероятное событие.
i > 2 и i Объем информации может быт дробным числом! Решение таких уравнений изучают в старших класса. Здесь приведем готовый ответ: i = 2,5849625007211561814537389439478 бит
Измерение информации: алфавитный подход
Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия "новые - старые", "понятные - непонятные" сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода при измерении знаний конкретного человека.
Вспомним определение алфавита и его мощности (не забудьте вернуться назад).
Мощность алфавита только из заглавных русских букв равна 32.
Будем писать, как это делали до 4-го века нашей эры: без пробелов и знаков препинания, т.е. слитно.
Сколько информации тогда несет один символ?
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита.
В каждой очередной позиции текста может появиться любой из N символов.
Тогда, согласно известной нам формуле 2 i = N , каждый такой символ несет i бит информации, которое можно определить из решения уравнения: 2 i = 32.
Получаем: i = 5 бит.
Количество информации в тексте
А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.
Посчитаем количество информации на одной странице книги.
Пусть страница содержит 50 строк. В каждой строке - 60 символов. Значит, на странице умещается
50 * 60=3000 знаков. Тогда объем информации будет равен: 5 * 3000 = 15000 бит.
Вывод: при алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.
А что если алфавит состоит только из двух символов 0 и 1?
В этом случае: N = 2; 2 i = N; 2 i = 2; i = 1
При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.
"Компьютерный" алфавит (смотрите таблицу)
Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 2 4 = 16. А если N =32, то один символ "весит" 5 бит.
Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встречаемся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.
Поскольку 256 = 2 8 , то один символ этого алфавита "весит" 8 бит. Причем 8 бит информации - это настолько характерная величина, что ей даже присвоили свое название - байт.
Количество информации в тексте
В настоящее время для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов.
В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах.
Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов.
Значит страница содержит 40 * 60=2400 байт информации.
Объем всей информации в книге: 2400 * 150 = 360 000 байт.
Более крупные единицы информации
- 8 бит = 1 байт
- 1 КБайт = 1024 Байт = 2 10 Байт
- 1 МБайт = 1024 КБайт = 2 10 КБайт
- 1 ГигаБайт = 1024 МБайт = 2 10 МБайт
- 1 ТераБайт = 1024 ГБайт = 2 10 ГБайт
- 1 ПетаБайт = 1024 ТБайт = 2 10 ТБайт
Перевод из одной единицы в другую
5 МБайт = 5 * 1024 КБайт = 5120 КБайт
2 КБайт = 2 * 1024 Байт = 2048 Байт
20 Байт = 20 * 8 бит = 160 бит
4 МБайт = 4 * 1024 * 1024 Байт = 4194304 Байт
1/256 МБайт = 1/256 * 1024 * 1024 * 8 бит = 32768 бит
4096 КБайт = 4096 : 1024 МБайт = 4 МБайт
512 МБайт = 512 : 1024 ГБайт = 0,5 ГБайт
Скорость передачи информации
Прием-передача информации могут происходить с разной скоростью.
Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока.
Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с),
килобит в секунду (Кбит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.
Задача 5: Племя Мумбу-Юмбу использует алфавит из букв: α β γ δ ε ζ η θ λ μ ξ σ φ ψ точка и для разделения слов используется пробел.
Сколько информации несет свод законов племени, если в нем 12 строк и в каждой строке по 20 символов?
1.25 КБ = 1.25 * 1024 * 8 бит = 10240 бит. Столько информации в тексте.
i = 10240 : 2048 = 5 (бит) приходится на 1 символ
Находим количество символов в алфавите языка (N), на котором написан текст:
Читайте также: