В каком случае сообщение об одном событии из двух равновероятных несет 1 бит информации

Обновлено: 02.07.2024

При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная. Одну и ту же информацию разные люди могут оценить по разному.

Данная формула является показательным уравнением относительно неизвестной х. Из математики известно, что решение такого уравнения имеет вид: x=log₂N

Но 32=2 5 . Следовательно, х = 5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер.

Пример 3. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика? Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения: 2 х = 6.

Решение этого уравнения: .

Задачи

№ 3.Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

№ 4.Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

№ 8.В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

№ 9.При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?

№ 10.При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

Алфавитный подход

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.

Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле: N=2 i ,

Один символ из алфавита мощностью 256 (2 8 ) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере. 1 байт = 8 бит.

Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен: I = К х i,

где i – информационный вес одного символа в используемом алфавите.

Для измерения информации используются и более крупные единицы:

1 Кбайт (килобайт) = 210 байт = 1024 байта

1 Мбайт (мегабайт) = 210 Кбайт = 1024 Кбайта

1 Гбайт (гигабайт) = 210 Мбайт = 1024 Мбайта

Пример 4. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге?

Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 х 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах):

2400 х 150 = 360 000 байт.

360000/1024 = 351,5625 Кбайт.

351,5625/1024 = 0,34332275 Мбайт.

Задачи

№ 1.Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

№ 3.Племя Мульти имеет 32-х символьный алфавит. Племя Пульти использует 64-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти – 70 символов. Сравните объемы информации, содержащейся в письмах.

№ 9.Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

Количество информации и вероятность

Рассмотрим несколько примеров.

Решение. Обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б – вероятность попадания белого шара. Тогда:

Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.

Решение. Представим себе, что мы изучили успеваемость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.

Пример 3. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука.

Решение. Всего в пруду обитают 50000 рыб. Из предыдущих примеров можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда: р_к = 8000/50000 = 0,16;

Из рассмотренных примеров можно сделать вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Вероятностный метод применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной частотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя.

Решение.Поскольку объем книги достаточно большой, то можно допустить, что вычисленная по ней частота встречаемости в тексте каждого из символов алфавита характерна для любого текста языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов:

буква А: 4000/10000 = 0,4; i_A=log ₂ (1/0,4) = 1,321928;

буква У: 1000/10000 = 0,1; i_У=log ₂ (1/0,1) = 3,1928;

буква М: 2000/10000 = 0,2; i_М=log ₂ (1/0,2) = 2,321928;

буква К: 1500/10000 = 0,15; i_К=log ₂ (1/0,15) = 2,736966;

точка: 500/10000 = 0,05; i_точка=log ₂ (1/0,05) = 4,321928;

пробел: 1000/10000 = 0,1; i_пробел=log ₂ (1/0,1) = 3,321928.

Общий объем информации в книге вычислим как суму произведений информационного веса каждого символа на число повторений этого символа в книге:

Задачи

№ 9.Частотный словарь русского языка – словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0.090	в	0.035	я	0.018	ж	0.007
е, ё	0.072	к	0.028	ы, з	0.016	ю, ш	0.006
а, и	0.062	м	0.026	ь, ъ, б	0.014	ц, щ, э	0.003
т,н	0.053	д	0.025	ч	0.013	ф	0.002
с	0.045	п	0.023	й	0.012
р	0.040	у	0.021	х	0.009

4. Продолжите последовательность:

1) 1, 4, 8, 16,

3) 1, 1, 2, 3, 5, 8, 13,

4) о, д, т, ч, п, ш, с, в, д, д,

1) А Þ Б, ЭВМ Þ ЮГН, язык Þ аиъл

2) 12 Þ 0, 7Sg Þ 0, DFV Þ 0, РФ Þ 0

3) 1 Þ 1, 12 Þ 3, 111 Þ 3

4) Б Þ 1, МАМА Þ 4, ПК Þ 2

Основные факторы риска неинфекционных заболеваний: Основные факторы риска неинфекционных заболеваний, увеличивающие вероятность.

Верный ответ в) в любом случае - log(2)2 = 1 бит.

. Приведите примеры обоих случаев .

Приведите примеры обоих случаев .

Алфавит состоит из 64 символов, появление которых равновероятно?

Алфавит состоит из 64 символов, появление которых равновероятно.

Название файла = имя файла + расширение. Например : документ(имя). Docx(расширение).

Ответ : Номер 1. 3 Номер 2. 3.

Системный анализ, кибернетика.

Но это не точно……………….

1. PHP 2. JavaScript 3. Ruby 4. Perl 5. Racket 6. Haskell 7. Java 8. C + + 9. Pascal 10. Python.

245 : 10100101 573 : 101111011.

1280 * 960 = 1 288 800 пикселей160 * 1024 * 8 = 1 310 720 бит1 310 720 бит / 1 288 800 пикселей = 1 бит на пиксель = >Количество цветов в палитре изображения будет 2.

640 * 480 = 307200 65536 = 2 ^ 16 = 16 - битная цветность 307200 пикселей * 16 бит / пиксель = 4915200 бит 4915200 / 8 = 614400 байт 614400 байт / 1024 = 600 Кбайт.

Вопрос: сколько битов информации содержится в его ответе?

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

— Оценка выше тройки?

После этого ответа число вариантов уменьшилось в два раза. Остались только 4 и 5. Получен 1 бит информации.

— Ты получил пятерку?

Выбран один вариант из двух оставшихся: оценка — четверка. Получен еще 1 бит информации. В сумме имеем 2 бита.

Разберем еще одну частную задачу, а потом получим общее правило.

Будем действовать таким же способом, как в предыдущей задаче. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом.

— Книга лежит выше четвертой полки?

— Книга лежит ниже третьей полки?

— Книга на второй полке?

— Ну теперь все ясно! Книга лежит на первой полке!

В примере с монетой: N = 2, i = 1.

В примере с оценками: N = 4, i = 2.

В примере со стеллажом: N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается такой формулой

Действительно: 2 1 = 2; 2 2 = 4; 2 3 = 8.

Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.

Поскольку 16 = 2 4 , то i = 4.

будет дробным числом, лежащим между 2 и 3, поскольку 2 2 = 4 3 = 8 > 6. С точностью до пяти знаков после запятой решение такое: 2,58496. Ниже приведена таблица, из которой можно определить i для различных значений N в диапазоне от 1 до 64.

N	i	N	i	N	i	N	i
0,00000	4,08746	5,04439	5,61471
1,00000	4,16993	5,08746	5,64386
1,58496	4,24793	5,12928	5,67243
2,00000	4,32193	5,16993	5,70044
2,32193	4,39232	5,20945	5,72792
2,58496	4,45943	5,24793	5,75489
7	2,80735	4,52356	5,28540	5,78136
3,00000	4,58496	5,32193	5,80735
3,16993	4,64386	5,35755	5,83289
3,32193	4,70044	5,39232	5,85798
3,45943	4,75489	5,42626	5,88264
3,58496	4,80735	5,45943	5,90689
3,70044	4,85798	5,49185	5,93074
3,80735	4,90689	5,52356	5,95420
3,90689	4,95420	5,55459	5,97728
4,00000	5,00000	5,58496	6,00000

Коротко о главном

Неопределенность знания о некотором событии — это количество возможных результатов события.

Вопросы и задания

1. Что такое неопределенность знания о результате какого-либо события? Приведите примеры.

2. Как с точки зрения содержательного подхода к измерению информации определяется единица измерения количества информации?

ЕК ЦОР: Часть 1, дополнение к главе 1. ЦОР № 1-5.

Submit to our newsletter to receive exclusive stories delivered to you inbox!

Пармезан Черница

Лучший ответ:

Онтонио Веселко

верный ответ в) в любом случае - log(2)2 = 1 бит

Вы можете из нескольких рисунков создать анимацию (или целый мультфильм!). Для этого нарисуйте несколько последовательных кадров и нажмите кнопку Просмотр анимации.

Читайте также: