Колода карт содержит 36 карт какое количество информации содержит сообщение о том

Обновлено: 03.05.2024

Задачник

Задачи, в которых используется содержательный (вероятностный) подход к определению количества информации.

Решение.

1. Любая карта, в том числе, и дама пик, может быть вытащена из перемешанной колоды с одинаковой вероятностью.

2. Неопределенность знаний о результате вытаскивания карты равна 32 — числу карт в колоде.

4. Воспользуемся основной формулой 2 i =N; 2 i = 32.

5. Решим показательное уравнение: так как 32 = 2 5 , то, следовательно, i = 5 бит.

Подобные задачи

Решение.

2. Воспользуемся основной формулой 2 i =N,где N - количество равновероятных событий, а следовательно количество этажей в доме.

3. Подставив в формулу значение i получим 2 4 =N; N=16.

Ответ. В доме 16 этажей.

Задачи, в которых используется формула Шеннона к определению количества информации.

Решение.

  1. В мешке 10 фруктов – следовательно, 10 возможных событий (N)
  2. Находим вероятность каждого события:
  1. Подставляем полученные значения в формулу Шеннона:

Задачи, в которых используется алфавитный подход к определению количества информации.

Пример. Какой объём информации содержат 3 символа 16 – символьного алфавита?

1. Мощность алфавита равна 16.

2. Воспользуемся формулой 2 i =N, где N - мощность алфавита, i- размер одного символа.

3. Подставим в формулу 2 i =16, 2 4 =16, i=4бит

4. Так как всего использовали 3 символа алфавита , следовательно: 4 бит • 3 = 12 бит

Ответ: объём информации записанный 3 знаками алфавита мощностью 16 символов равен 12 бит.

Задачи в которых используется правила перевода в разные единицы измерения информации.

1 Килобайт (Кбайт)=210=1024байт

1 Мегабайт (Мбайт)=210=1024Кбайт

1 Гигабайт (Гбайт)=210=1024Мбайт

1 Терабайт (Тбайт)=2 10 =1024Гбайт

1 Петабайт (Пбайт)=2 10 =1024Тбайт

1 Эксабайт (Эбайт)=2 10 =1024Пбайт

1 Зеттабайт (Збайт)=2 10 =1024Эбайт

1 Йоттабайт (Йбайт)=2 10 =1024Збайт

До сих пор мы приводили формулы для расчета энтропии (неопределенности) H , указывая, что H в них можно заменять на I , потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если , то - неопределенности не изменилась, следовательно, информации получено не было.

Рассмотрим в качестве примера опыт с колодой из 36 карт.


Рис. 12. Иллюстрация к опыту с колодой из 36-ти карт.

Вариант A . “Это карта красной масти”.

I=log2(36/18)=log2(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B . “Это карта пиковой масти”.

I=log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log2(36)– log 2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D . “Это одна карта из колоды".

Вариант D . “Это дама пик".

I=log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).

Формула Шеннона. Чем она отличается от формулы Хартли и в каких случаях используется?

Для вероятностного подхода к определению количества информации формула Хартли может быть использована в следующем виде:

I = log 2 N=log 2 (1/P) или 1/P = 2 N

Но, для определения количества информации не всегда возможно использовать формулу Хартли.

Пусть мы имеем алфавит, состоящий из N символов. Тогда частота появления каждого символа может быть записана:

P 1 , P 2 , . . . P N ,

где Pi - вероятность появления i – го символа.

Мы знаем, что все вероятности неотрицательны, должны быть меньше 1, а их сумма равна 1.

Тогда средний информационный вес символа (количество информации, содержащееся в символе) такого алфавита выражается формулой Шеннона:

I = P 1 log 2 (1/ P 1 ) + P 2 log 2 (1/ P 2 ) + . . . + P N log 2 (1/ P N )

где I – количество информации;

N – количество возможных событий;

Pi – вероятность отдельных событий.

Задачи.
1. Определить количество информации, получаемое при реализации одного из событий, если бросают:

а) несимметричную четырехгранную пирамидку;

б) симметричную и однородную четырехгранную пирамидку.

Решение.
а) Будем бросать несимметричную четырехгранную пирамидку.
допустим, что грани пирамидки такие, что отношение их площадей можно представить пропорцией: 4 : 2: 1: 1. Тогда, вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
Вычислим по формуле Шеннона количество информации, получаемой после реализации одного из этих событий:

I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 ( бит ).

б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
Вывод : при равновероятных событиях получаемое количество информации максимально.

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона .

Решение примеров и задач с использованием формулы Хартли и Шеннона

1. Какое минимальное количество двоичных разрядов потребуется для того, чтобы закодировать алфавит языка племени Мумба-Юмба, состоящий их 16 символов?

Ответ: 4 разряда

2. 256 символов на клавиатуре кодируются последовательностью из 0 и 1. Сколько же потребуется таких 0 и 1 (то есть разрядов)?

Ответ: 8 бит или 1 байт

3. Какое минимальное количество двоичных разрядов потребуется для того, чтобы закодировать цифры десятичной системы счисления?

Ответ: 4 разряда

4. Определить информационный объем полноэкранного графического изображения на экране, имеющем разрешающую способность 640*320 и 16 возможных цветов.
Ответ: 100 Кбайт

5. Для хранения области экрана монитора размером 256*128 точек выделено 32 Кбайта оперативной памяти. Сколько максимально цветов допустимо использовать для раскраски точек?

Ответ: 256 цветов

Ответ : последний результат показывает, что для кодирования всех 36 карт требуется 5.174 бита или шестибитное слово (2 5 =32 – мало, 2 6 =64, то есть 64>36).

Ответ: в поезде 4 купейных вагона.

Двоичное слово содержит 7 бит информации. Сколько объектов можно закодировать кодами такой длины. (Ответ:128)

Отгадываем одно число из 32, 40, 64, 80 чисел. Сколько бит информации можно получить в каждом из этих четырех конкретных случаев, чтобы отгадать задуманное число? (ответ: 5 бит, 6 бит, 6 бит, 7 бит).

При отгадывании чисел потребовалось получить информацию в 3 бита, 5 бит, 7 бит. Сколько в каждом из этих четырех случаев было всего чисел, среди которых требовалось определить задуманное число? (Ответ: 8 чисел, 32 числа, 128 чисел).

Соревновались в стрельбе по мишеням два стрелка – новичок и мастер спорта. Болельщики делали на них ставки 1 к 15. Сколько информации получили болельщики, когда победил новичок? (ответ: 4 бита).

Похожие документы:

Количество информации как мера уменьшения неопределённости знания

. Шеннона: При равновероятных событиях получаемое количество информации максимально. Задачи. 1. Определить количество информации, получаемое при реализации одного из событий, если бросают: а) несимметричную четырехгранную пирамидку; б) симметричную .

1. Основные понятия и методы теории информации и кодирования. Сигналы, данные, информация. Общая характеристика процессов сбора, передачи, обработки и накоплени

. log2 К. При равновероятных событиях получаемое количество информации максимально. Задачи. 1. Определить количество информации, получаемое при реализации одного из событий, если бросают а) несимметричную четырехгранную пирамидку; б) симметричную .

Д. К. Самин 100 великих архитекторов

. Если принять гипотезу об авторстве Аристотеля, то при . современных событиях, нравственных вопросах и задачах искусства . одной из сторон жизни города, внешний вид церквей определяется . зеленью. Четырехгранная усеченная пирамида . – даже несимметрично и были .

Единицы измерения и методы измерения количества информации.

Цель: получить практические навыки для определения количества информации.

Логарифмом называют показатель степени (I), в которую нужно возвести основание логарифма (2), чтобы получить заданное число (N), т.е., если I = Log2 N, то N = 2 I

При равенстве вероятностей р появления событий можно записать

3. С помощью X двоичных разрядов (бит) можно закодировать двоичным кодом все элементы множества мощностью 2x (т.е. состоящего из 2x элементов). Информационный объем одного символа, обозначающего элемент данного множества, будет равен X.

В зрительном зале две прямоугольные области зрительских кресел: одна 10 на 5, а другая 4 на 8. Какое минимальное количество бит потребуется для кодирования каждого места в автоматизированной системе?

I = Log2 N’ = 8 — минимальное количество бит для записи номера спортсмена.

В данном случае алфавит состоит из двух элементов, потому информационный объем одного символа = 1 бит. 6 бит позволяют закодировать множество из 2 6 = 64 элементов.

С помощью N лампочек, каждая из которых может находиться в трех состояниях, можно закодировать 3 n сигналов. 3 2 3 , поэтому двух лампочек недостаточно, а трех хватит.

Все четыре события имеют разную вероятность выполнения. Эти вероятности соответственно равны: P1 = 12/36 = 1/3, P2 = 4/36 = 1/9, P3 = 20/36 = 5/9, P4 = 1/36.

Для вычисления количеств информации используем формулу I = Log2(1/P) = -Log2(P). Вычисления дают следующие результаты:

Последний результат показывает, что для кодирования всех 36 карт требуется 5,174 бита или шестибитовое двоичное слово (2 5 = 32 — мало, т.к. 32 6 = 64, 64>36).

Обозначим х — искомое число купейных вагонов. Вероятность того, что знакомый приезжает в купейном вагоне, равна р == х/16.

Для решения используем формулу I = Log2(1/р). Напомним, что I — это показатель степени, в которую нужно возвести основание логарифма 2, чтобы получить число 1/р. Величина I по условию задачи равна 2. Подставим значения: 2 2 = 16/х, откуда получаем х = 4, т.е. в поезде 4 купейных вагона.

Напоминание. На практике используются более объемные, производные единицы количества (объема) информации: 1 байт = 8 бит;

1 килобайт (правильнее — кбайт) = 2 10 байтов = 1024 байтов;

1 мегабайт (правильнее — Мбайт) = 2 10 килобайтов = 1024 килобайтов;

1 гигабайт (правильнее — Гбайт) = 2 10 мегабайтов = 1024 мегабайтов;

1 терабайт (правильнее — Тбайт) = 2 10 гигабайтов = 1024 гигабайт и т.д.

До недавнего времени каждый символ, вводимый в память компьютера с клавиатуры, кодировался восьмибитовым двоичным словом — одним байтом. Байт позволяет кодировать 2 8 = 256 различных символов и команд. Последнее время осуществляется переход на двухбайтовую 'систему кодирования, позволяющую кодировать 2 16 = 65536 символов и команд.

На практике нередко отождествляют понятия количества информации, объема информации и объема памяти, потребного для хранения информации. Поясним их различие следующим примером,

В целях экономии памяти при записи информации на хранение широко используют процедуру ее сжатия. Так, рассматриваемую выше книгу можно сжать примерно в десять раз. При этом следует понимать, что путем сжатия уменьшается не количество информации, а только ее объем.

Читайте также: