Чем меньше вероятность некоторого события тем больше информации содержит сообщение об этом событии

Обновлено: 02.07.2024

Чтобы рассмотреть участие информации в информационном процессе нужно её измерять.

Существует 2 подхода к измерению количества информации.

Пример: Представим что в ящике лежат 2 шара (синий и красный). Перед вытаскиванием мы знаем о том что возможны 2 события:

Для нас эти 2 события равновероятны. После того, как шар вытащен, наступает полная определённость: какой шар – вытащен, а какой остался в ящике.

Что такое Вероятность?

Если N – общее число возможных вариантов (событий), а из них интересующее нас событие может произойти k раз, то вероятность этого события можно определить по формуле:

Для примера с шарами, вероятность вытаскивания одного из шаров, равна 1/2 или 0,5, другими словами они равновероятны. Если, к примеру, в ящике лежали бы все шары одного цвета, синего, то вероятность была бы равна 1.

Т.е. событие достоверно, если мы достали синий шар, и событие невозможно, если из 2-х синих шаров мы достали красный.

Теперь усложним задачу: Представим, что у нас в ящике лежат: 3 красных шара и 1 синий. Вытаскиваем 1 шар, т.е. у нас возникает одно из возможных событий, учитывая, что красных шаров больше, мы понимаем что скорей всего будет вытащен именно красный шар, но может быть и синий. Тогда по формуле посчитает вероятность соответствующих событий:

p(кр.)=1/4=0,25; p(син.)=3/4=0,75

Какая информация для нас будет ценнее? О том что мы вытащили красный шар или синий?

Если событие достоверно, его вероятность равна 1, то оно неинформативно, т.е. количество информации в нём равно 0. Чем меньше вероятность какого-либо события, тем большую ценность имеет информация об этом событии и тем больше будет значение i.

Единицей измерения количества информации является бит (от англ. bit – binary digit – двоичная цифра).

1 бит — количество информации, которое необходимо для того чтобы различить два равновероятных события.

Количество информации можно рассчитать методом Р. Хартли и К.Шеннона:

Например, при угадывании числа из набора (1……100), мы получим:

Этот метод расчёта верен, если мы имеет равновероятные события.

Для решения задач с неодинаковой вероятностью возможных событий используется формула Шеннона:

Для ситуации с 4 шарами, получим (для расчётов логарифмов можно воспользоваться он-лайн калькулятором):

Ответ: 0,815 бит.

Для того чтобы получить информацию о том, что мы достали синий шар, подставим данные в нашу формулу и получим:

Ответ: 2 бита.

Этого и следовало ожидать, ведь жёлтых шаров в 3 раза больше, а информации о том, что “Мы достали синий шар из корзины“, мы получили больше, так как эта ситуация менее вероятна, а значит, более неожиданна.

Следовательно, информация о том, что случилось это событие уменьшает наше незнание в два раза.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка.

Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, жребий и др.) — это количество возможных результатов.

Задание 1:

При игре в кости используются 2 кубика с шестью гранями. Сколько бит информации получает игрок при бросании кубиков?

Формула Хартли:

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк.

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы:

Для учеников 1-11 классов и дошкольников
Бесплатные сертификаты учителям и участникам

Тема Вероятностный подход к измерению информации

Цель уроков: дать представление о вероятностном подходе к измерению информации.

Учащиеся должны знать/понимать :

понятие вероятности события;

Учащиеся должны уметь :

определять вероятность события;

решать задачи на определение количества информации с помощью вероятности.

Организационный момент.

Объяснение нового материала.

Если N — это общее число возможных исходов какого-либо процесса, а интересующее нас событие может произойти К раз, то вероятность этого события равна К/N.

Существует более сложная формула Шеннона.

Практическая работа.

Решение. Определим вероятности получения:

Количество информации о получении каждой из оценок определяется по формуле . Тогда, бит. Аналогично находится количество информации для остальных оценок.

Решение. Обозначим — вероятность попадания при вытаскивании чёрного шара, — вероятность попадания белого шара. Тогда:

Заметим, что вероятность попадания белого шара в 4 раза больше, чем чёрного.

В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака — поймать в этом пруду пескаря, на втором месте — карась, на третьем — щука.

Решение. Всего в пруду обитают 50000 рыб. По аналогии с предыдущими примерами можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:

Домашняя работа.

Количество информации и вероятность связаны между собой формулой .

Найдем вероятность того, что из корзины достали черный шар. Для этого нужно знать количество черных шаров и общее количество шаров в корзине. Таким образом, , где — количество черных шаров, а — общее количество шаров в корзине (). Тогда, , следовательно, , получаем, что.

Вероятностный подход к измерению количества информации.

Можно ли измерить количество информации?

Существуют 2 подхода.

2 подход . Содержательный или вероятностный подход

Пример1: Мы бросаем монету и пытаемся угадать. Какой стороной она упадет. Возможен один результат из двух, перед броском существует неопределенность знаний. После броска наступает полная неопределенность знаний. Так как из двух равновероятных событий произошло одно, то неопределенность наших знаний уменьшилось в 2 раза.

Пример2: вытягивание билета на экзамене.

1 бит – это количество информации, уменьшающее неопределенность наших знаний в 2 раза.

Существует формула, которая связывает между собой количество возможных событий и количество информации.

N =2 I , где N - количество возможных вариантов.

I – количество информации,

Если из этой формулы выразить количество информации, то получится I = log ₂ N

Примеры решения задач

2=2 I , откуда I=1

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит, так как 2 3 =8.)
Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит, так как 2 2 =4.)

16 задач с решением на тему "Вероятностный подход к определению количества информации)

Случай, при котором события неравновероятны (для уч-ся 10-11 профильных классов)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Мы сталкиваемся с ситуацией, когда события неравновероятны.

Вероятность выбора пирожка с капустой: р=8/32=1/4=0,25.

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вопрос: сколько получим информации при выборе пирожка любого вида? Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон. Если I - количество информации, N - количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле: можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере: I = - ( р 1 ∙ log 2 p 1 + р 2 ∙ log 2 p 2 ) = - (0,25∙ log 2 0,25+0,75∙ log 2 0,75) ≈ -(0,25∙(-2)+0,75∙(-0,42)) =0,815 бит

Применение ЭТ Excel для решения задач на нахождение количества информации р i =K i /N I i =log 2 (1/p i )

При составлении таблицы мы должны учитывать: - Ввод данных (что дано в условии). - Подсчет общего количества числа возможных исходов (формула N=K 1 +K 2 +…+K i ). - Подсчет вероятности каждого события (формула p i = К i /N). - Подсчет количества информации о каждом происходящем событии (формула I i = log 2 (1/p i )). - Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Читайте также: