Колода карт содержит 36 карт какое количество информации содержит сообщение о том
Обновлено: 03.05.2024
Задачник
Задачи, в которых используется содержательный (вероятностный) подход к определению количества информации.
Решение.
1. Любая карта, в том числе, и дама пик, может быть вытащена из перемешанной колоды с одинаковой вероятностью.
2. Неопределенность знаний о результате вытаскивания карты равна 32 — числу карт в колоде.
4. Воспользуемся основной формулой 2 i =N; 2 i = 32.
5. Решим показательное уравнение: так как 32 = 2 5 , то, следовательно, i = 5 бит.
Подобные задачи
Решение.
2. Воспользуемся основной формулой 2 i =N,где N - количество равновероятных событий, а следовательно количество этажей в доме.
3. Подставив в формулу значение i получим 2 4 =N; N=16.
Ответ. В доме 16 этажей.
Задачи, в которых используется формула Шеннона к определению количества информации.
Решение.
- В мешке 10 фруктов – следовательно, 10 возможных событий (N)
- Находим вероятность каждого события:
- Подставляем полученные значения в формулу Шеннона:
Задачи, в которых используется алфавитный подход к определению количества информации.
Пример. Какой объём информации содержат 3 символа 16 – символьного алфавита?
1. Мощность алфавита равна 16.
2. Воспользуемся формулой 2 i =N, где N - мощность алфавита, i- размер одного символа.
3. Подставим в формулу 2 i =16, 2 4 =16, i=4бит
4. Так как всего использовали 3 символа алфавита , следовательно: 4 бит • 3 = 12 бит
Ответ: объём информации записанный 3 знаками алфавита мощностью 16 символов равен 12 бит.
Задачи в которых используется правила перевода в разные единицы измерения информации.
1 Килобайт (Кбайт)=210=1024байт
1 Мегабайт (Мбайт)=210=1024Кбайт
1 Гигабайт (Гбайт)=210=1024Мбайт
1 Терабайт (Тбайт)=2 10 =1024Гбайт
1 Петабайт (Пбайт)=2 10 =1024Тбайт
1 Эксабайт (Эбайт)=2 10 =1024Пбайт
1 Зеттабайт (Збайт)=2 10 =1024Эбайт
1 Йоттабайт (Йбайт)=2 10 =1024Збайт
До сих пор мы приводили формулы для расчета энтропии (неопределенности) H , указывая, что H в них можно заменять на I , потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.
Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:
Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).
Исходя из (5) можно вывести следующее:
Если , то - неопределенности не изменилась, следовательно, информации получено не было.
Рассмотрим в качестве примера опыт с колодой из 36 карт.
Рис. 12. Иллюстрация к опыту с колодой из 36-ти карт.
Вариант A . “Это карта красной масти”.
I=log2(36/18)=log2(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).
Вариант B . “Это карта пиковой масти”.
I=log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).
Вариант С. “Это одна из старших карт: валет, дама, король или туз”.
I=log2(36)– log 2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).
Вариант D . “Это одна карта из колоды".
Вариант D . “Это дама пик".
I=log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).
Формула Шеннона. Чем она отличается от формулы Хартли и в каких случаях используется?
Для вероятностного подхода к определению количества информации формула Хартли может быть использована в следующем виде:
I = log 2 N=log 2 (1/P) или 1/P = 2 N
Но, для определения количества информации не всегда возможно использовать формулу Хартли.
Пусть мы имеем алфавит, состоящий из N символов. Тогда частота появления каждого символа может быть записана:
P 1 , P 2 , . . . P N ,
где Pi - вероятность появления i – го символа.
Мы знаем, что все вероятности неотрицательны, должны быть меньше 1, а их сумма равна 1.
Тогда средний информационный вес символа (количество информации, содержащееся в символе) такого алфавита выражается формулой Шеннона:
I = P 1 log 2 (1/ P 1 ) + P 2 log 2 (1/ P 2 ) + . . . + P N log 2 (1/ P N )
где I – количество информации;
N – количество возможных событий;
Pi – вероятность отдельных событий.
Задачи.
1. Определить количество информации, получаемое при реализации одного из событий, если бросают:
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.
Решение.
а) Будем бросать несимметричную четырехгранную пирамидку.
допустим, что грани пирамидки такие, что отношение их площадей можно представить пропорцией: 4 : 2: 1: 1. Тогда, вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
Вычислим по формуле Шеннона количество информации, получаемой после реализации одного из этих событий:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 ( бит ).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
Вывод : при равновероятных событиях получаемое количество информации максимально.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона .
Решение примеров и задач с использованием формулы Хартли и Шеннона
1. Какое минимальное количество двоичных разрядов потребуется для того, чтобы закодировать алфавит языка племени Мумба-Юмба, состоящий их 16 символов?
Ответ: 4 разряда
2. 256 символов на клавиатуре кодируются последовательностью из 0 и 1. Сколько же потребуется таких 0 и 1 (то есть разрядов)?
Ответ: 8 бит или 1 байт
3. Какое минимальное количество двоичных разрядов потребуется для того, чтобы закодировать цифры десятичной системы счисления?
Ответ: 4 разряда
4. Определить информационный объем полноэкранного графического изображения на экране, имеющем разрешающую способность 640*320 и 16 возможных цветов.
Ответ: 100 Кбайт
5. Для хранения области экрана монитора размером 256*128 точек выделено 32 Кбайта оперативной памяти. Сколько максимально цветов допустимо использовать для раскраски точек?
Ответ: 256 цветов
Ответ : последний результат показывает, что для кодирования всех 36 карт требуется 5.174 бита или шестибитное слово (2 5 =32 – мало, 2 6 =64, то есть 64>36).
Ответ: в поезде 4 купейных вагона.
Двоичное слово содержит 7 бит информации. Сколько объектов можно закодировать кодами такой длины. (Ответ:128)
Отгадываем одно число из 32, 40, 64, 80 чисел. Сколько бит информации можно получить в каждом из этих четырех конкретных случаев, чтобы отгадать задуманное число? (ответ: 5 бит, 6 бит, 6 бит, 7 бит).
При отгадывании чисел потребовалось получить информацию в 3 бита, 5 бит, 7 бит. Сколько в каждом из этих четырех случаев было всего чисел, среди которых требовалось определить задуманное число? (Ответ: 8 чисел, 32 числа, 128 чисел).
Соревновались в стрельбе по мишеням два стрелка – новичок и мастер спорта. Болельщики делали на них ставки 1 к 15. Сколько информации получили болельщики, когда победил новичок? (ответ: 4 бита).
Похожие документы:
Количество информации как мера уменьшения неопределённости знания
. Шеннона: При равновероятных событиях получаемое количество информации максимально. Задачи. 1. Определить количество информации, получаемое при реализации одного из событий, если бросают: а) несимметричную четырехгранную пирамидку; б) симметричную .
1. Основные понятия и методы теории информации и кодирования. Сигналы, данные, информация. Общая характеристика процессов сбора, передачи, обработки и накоплени
. log2 К. При равновероятных событиях получаемое количество информации максимально. Задачи. 1. Определить количество информации, получаемое при реализации одного из событий, если бросают а) несимметричную четырехгранную пирамидку; б) симметричную .
Д. К. Самин 100 великих архитекторов
. Если принять гипотезу об авторстве Аристотеля, то при . современных событиях, нравственных вопросах и задачах искусства . одной из сторон жизни города, внешний вид церквей определяется . зеленью. Четырехгранная усеченная пирамида . – даже несимметрично и были .
Единицы измерения и методы измерения количества информации.
Цель: получить практические навыки для определения количества информации.
Логарифмом называют показатель степени (I), в которую нужно возвести основание логарифма (2), чтобы получить заданное число (N), т.е., если I = Log2 N, то N = 2 I
При равенстве вероятностей р появления событий можно записать
3. С помощью X двоичных разрядов (бит) можно закодировать двоичным кодом все элементы множества мощностью 2x (т.е. состоящего из 2x элементов). Информационный объем одного символа, обозначающего элемент данного множества, будет равен X.
В зрительном зале две прямоугольные области зрительских кресел: одна 10 на 5, а другая 4 на 8. Какое минимальное количество бит потребуется для кодирования каждого места в автоматизированной системе?
I = Log2 N’ = 8 — минимальное количество бит для записи номера спортсмена.
В данном случае алфавит состоит из двух элементов, потому информационный объем одного символа = 1 бит. 6 бит позволяют закодировать множество из 2 6 = 64 элементов.
С помощью N лампочек, каждая из которых может находиться в трех состояниях, можно закодировать 3 n сигналов. 3 2 3 , поэтому двух лампочек недостаточно, а трех хватит.
Все четыре события имеют разную вероятность выполнения. Эти вероятности соответственно равны: P1 = 12/36 = 1/3, P2 = 4/36 = 1/9, P3 = 20/36 = 5/9, P4 = 1/36.
Для вычисления количеств информации используем формулу I = Log2(1/P) = -Log2(P). Вычисления дают следующие результаты:
Последний результат показывает, что для кодирования всех 36 карт требуется 5,174 бита или шестибитовое двоичное слово (2 5 = 32 — мало, т.к. 32 6 = 64, 64>36).
Обозначим х — искомое число купейных вагонов. Вероятность того, что знакомый приезжает в купейном вагоне, равна р == х/16.
Для решения используем формулу I = Log2(1/р). Напомним, что I — это показатель степени, в которую нужно возвести основание логарифма 2, чтобы получить число 1/р. Величина I по условию задачи равна 2. Подставим значения: 2 2 = 16/х, откуда получаем х = 4, т.е. в поезде 4 купейных вагона.
Напоминание. На практике используются более объемные, производные единицы количества (объема) информации: 1 байт = 8 бит;
1 килобайт (правильнее — кбайт) = 2 10 байтов = 1024 байтов;
1 мегабайт (правильнее — Мбайт) = 2 10 килобайтов = 1024 килобайтов;
1 гигабайт (правильнее — Гбайт) = 2 10 мегабайтов = 1024 мегабайтов;
1 терабайт (правильнее — Тбайт) = 2 10 гигабайтов = 1024 гигабайт и т.д.
До недавнего времени каждый символ, вводимый в память компьютера с клавиатуры, кодировался восьмибитовым двоичным словом — одним байтом. Байт позволяет кодировать 2 8 = 256 различных символов и команд. Последнее время осуществляется переход на двухбайтовую 'систему кодирования, позволяющую кодировать 2 16 = 65536 символов и команд.
На практике нередко отождествляют понятия количества информации, объема информации и объема памяти, потребного для хранения информации. Поясним их различие следующим примером,
В целях экономии памяти при записи информации на хранение широко используют процедуру ее сжатия. Так, рассматриваемую выше книгу можно сжать примерно в десять раз. При этом следует понимать, что путем сжатия уменьшается не количество информации, а только ее объем.
Читайте также: