Чем меньше вероятность некоторого события тем больше информации содержит сообщение об этом событии

Обновлено: 06.07.2024

Чтобы рассмотреть участие информации в информационном процессе нужно её измерять.

Существует 2 подхода к измерению количества информации.

Пример: Представим что в ящике лежат 2 шара (синий и красный). Перед вытаскиванием мы знаем о том что возможны 2 события:

Для нас эти 2 события равновероятны. После того, как шар вытащен, наступает полная определённость: какой шар – вытащен, а какой остался в ящике.

Что такое Вероятность?

Если N – общее число возможных вариантов (событий), а из них интересующее нас событие может произойти k раз, то вероятность этого события можно определить по формуле:

Для примера с шарами, вероятность вытаскивания одного из шаров, равна 1/2 или 0,5, другими словами они равновероятны. Если, к примеру, в ящике лежали бы все шары одного цвета, синего, то вероятность была бы равна 1.

Т.е. событие достоверно, если мы достали синий шар, и событие невозможно, если из 2-х синих шаров мы достали красный.

Теперь усложним задачу: Представим, что у нас в ящике лежат: 3 красных шара и 1 синий. Вытаскиваем 1 шар, т.е. у нас возникает одно из возможных событий, учитывая, что красных шаров больше, мы понимаем что скорей всего будет вытащен именно красный шар, но может быть и синий. Тогда по формуле посчитает вероятность соответствующих событий:

p(кр.)=1/4=0,25; p(син.)=3/4=0,75

Какая информация для нас будет ценнее? О том что мы вытащили красный шар или синий?

Если событие достоверно, его вероятность равна 1, то оно неинформативно, т.е. количество информации в нём равно 0. Чем меньше вероятность какого-либо события, тем большую ценность имеет информация об этом событии и тем больше будет значение i.

Единицей измерения количества информации является бит (от англ. bit – binary digit – двоичная цифра).

1 бит — количество информации, которое необходимо для того чтобы различить два равновероятных события.

Количество информации можно рассчитать методом Р. Хартли и К.Шеннона:

Например, при угадывании числа из набора (1……100), мы получим:

Этот метод расчёта верен, если мы имеет равновероятные события.

Для решения задач с неодинаковой вероятностью возможных событий используется формула Шеннона:

Для ситуации с 4 шарами, получим (для расчётов логарифмов можно воспользоваться он-лайн калькулятором):

Ответ: 0,815 бит.

Для того чтобы получить информацию о том, что мы достали синий шар, подставим данные в нашу формулу и получим:

Ответ: 2 бита.

Этого и следовало ожидать, ведь жёлтых шаров в 3 раза больше, а информации о том, что “Мы достали синий шар из корзины“, мы получили больше, так как эта ситуация менее вероятна, а значит, более неожиданна.

Следовательно, информация о том, что случилось это событие уменьшает наше незнание в два раза.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка.

Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, жребий и др.) — это количество возможных результатов.

Задание 1:

При игре в кости используются 2 кубика с шестью гранями. Сколько бит информации получает игрок при бросании кубиков?

Формула Хартли:

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк.

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы:

Цели уроков: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя вероятностный подход. Создать в Excel информационную модель для автоматизации процесса вычислений в задачах на нахождение количества информации, используя формулу Шеннона.

Требования к знаниям и умениям:

Учащиеся должны знать:

Учащиеся должны уметь:

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.

Урок 1. Вероятностный подход к определению количества информации. Формула Шеннона

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок.

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но третье задание вызывает затруднение. Делаются различные предположения. Роль учителя: подвести учащихся к осмыслению, что в четвертом варианте мы сталкиваемся с ситуацией, когда события неравновероятны. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

IV. Объяснение нового материала.

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К₁ – это количество пирожков с повидлом, К₁=24

К₂ – количество пирожков с капустой, К₂=8

N – общее количество пирожков, N = К₁ +К₂=24+8=32

Вычислим вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Вероятность выбора пирожка с повидлом: р₁=24/32=3/4=0,75.

Вероятность выбора пирожка с капустой: р₂=8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Пояснение: если учащиеся не умеют вычислять значение логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Вернемся к нашей задаче с пирожками. Мы еще не ответили на вопрос: сколько получим информации при выборе пирожка любого вида?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I-количество информации, N-количество возможных событий, р_i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
Вася получил за экзамен 3 балла (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок. (Отв.: 0,815 бит.)

Обратите внимание на 3 и 4 задачу. Сравните количество информации.

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Можно ли применить формулу К. Шеннона для равновероятных событий?

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V. Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Дано: К_к=4;N=32

Найти: I_к, I

Решение:

VI. Подведение итогов урока.

Урок 2. Применение ЭТ Excel для решения задач на нахождение количества информации

Пояснение: При решении задач на нахождение количества информации учащиеся не вычисляли значение логарифма, т.к. не знакомы с логарифмической функцией. Урок строился таким образом: сначала решались однотипные задачи с составлением формул, затем разрабатывалась табличная модель в Excel, где учащиеся делали вычисления. В конце урока озвучивались ответы к задачам.

Ход урока

I. Постановка целей урока

Для решения задач на нахождение вероятности и количества информации используем формулы, которые вывели на прошлом уроке:

II. Решение задач.

Ученикам дается список задач, которые они должны решить.

Задачи решаются только с выводами формул, без вычислений.

Решение:

III. Объяснение нового материала.

Задается вопрос ученикам:

1. Какие трудности возникают при решении задач данного типа? (Отв.: Вычисление логарифмов).

2. Нельзя ли автоматизировать процесс решения данных задач? (Отв.: можно, т.к. алгоритм вычислений в этих задачах один и тот же).

3. Какие программы используются для автоматизации вычислительного процесса? (Отв.: ЭТ Excel).

Давайте попробуем сделать табличную модель для вычисления задач данного типа.

Нам необходимо решить вопрос, что мы будем вычислять в таблице. Если вы внимательно присмотритесь к задачам, то увидите, что в одних задачах надо вычислить только вероятность событий, в других количество информации о происходящих событиях или вообще количество информации о событии.

Мы сделаем универсальную таблицу, где достаточно занести данные задачи, а вычисление результатов будет происходить автоматически.

Структура таблицы обсуждается с учениками. Роль учителя обобщить ответы учащихся.

При составлении таблицы мы должны учитывать:

Ввод данных (что дано в условии).
Подсчет общего количества числа возможных исходов (формула N=K₁+K₂+…+K_i).
Подсчет вероятности каждого события (формула p_i= К_i/N).
Подсчет количества информации о каждом происходящем событии (формула I_i= log₂(1/p_i)).
Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Прежде чем демонстрировать заполнение таблицы, учитель повторяет правила ввода формул, функций, операцию копирования (домашнее задание к этому уроку).

При заполнении таблицы показывает как вводить логарифмическую функцию. Для экономии времени учитель демонстрирует уже готовую таблицу, а ученикам раздает карточки-памятки по заполнению таблицы.

Рассмотрим заполнение таблицы на примере задачи №1.

Рис. 1. Режим отображения формул

Рис. 2. Отображение результатов вычислений

Результаты вычислений занести в тетрадь.

Если в решаемых задачах количество событий больше или меньше, то можно добавить или удалить строчки в таблице.

VI. Практическая работа.

1. Сделать табличную модель для вычисления количества информации.

2. Используя табличную модель, сделать вычисления к задаче №2 (рис.3), результат вычисления занести в тетрадь.

3. Используя таблицу-шаблон, решить задачи №3,4 (рис.4, рис.5), решение оформить в тетради.

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

VII. Подведение итогов урока.

Учитель оценивает работу каждого ученика. Оценивается не только практическая работа на компьютере, но и оформление решения задачи в тетради.

VIII. Домашняя работа.

Для учеников 1-11 классов и дошкольников
Бесплатные сертификаты учителям и участникам

Тема Вероятностный подход к измерению информации

Цель уроков: дать представление о вероятностном подходе к измерению информации.

Учащиеся должны знать/понимать :

понятие вероятности события;

Учащиеся должны уметь :

определять вероятность события;

решать задачи на определение количества информации с помощью вероятности.

Организационный момент.

Объяснение нового материала.

Если N — это общее число возможных исходов какого-либо процесса, а интересующее нас событие может произойти К раз, то вероятность этого события равна К/N.

Существует более сложная формула Шеннона.

Практическая работа.

Решение. Определим вероятности получения:

Количество информации о получении каждой из оценок определяется по формуле . Тогда, бит. Аналогично находится количество информации для остальных оценок.

Решение. Обозначим — вероятность попадания при вытаскивании чёрного шара, — вероятность попадания белого шара. Тогда:

Заметим, что вероятность попадания белого шара в 4 раза больше, чем чёрного.

В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака — поймать в этом пруду пескаря, на втором месте — карась, на третьем — щука.

Решение. Всего в пруду обитают 50000 рыб. По аналогии с предыдущими примерами можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:

Домашняя работа.

Количество информации и вероятность связаны между собой формулой .

Найдем вероятность того, что из корзины достали черный шар. Для этого нужно знать количество черных шаров и общее количество шаров в корзине. Таким образом, , где — количество черных шаров, а — общее количество шаров в корзине (). Тогда, , следовательно, , получаем, что.

Вероятностный подход к измерению количества информации.

Можно ли измерить количество информации?

Существуют 2 подхода.

2 подход . Содержательный или вероятностный подход

Пример1: Мы бросаем монету и пытаемся угадать. Какой стороной она упадет. Возможен один результат из двух, перед броском существует неопределенность знаний. После броска наступает полная неопределенность знаний. Так как из двух равновероятных событий произошло одно, то неопределенность наших знаний уменьшилось в 2 раза.

Пример2: вытягивание билета на экзамене.

1 бит – это количество информации, уменьшающее неопределенность наших знаний в 2 раза.

Существует формула, которая связывает между собой количество возможных событий и количество информации.

N =2 I , где N - количество возможных вариантов.

I – количество информации,

Если из этой формулы выразить количество информации, то получится I = log ₂ N

Примеры решения задач

2=2 I , откуда I=1

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит, так как 2 3 =8.)
Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит, так как 2 2 =4.)

16 задач с решением на тему "Вероятностный подход к определению количества информации)

Случай, при котором события неравновероятны (для уч-ся 10-11 профильных классов)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

Мы сталкиваемся с ситуацией, когда события неравновероятны.

Вероятность выбора пирожка с капустой: р=8/32=1/4=0,25.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вопрос: сколько получим информации при выборе пирожка любого вида? Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон. Если I - количество информации, N - количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле: можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере: I = - ( р 1 ∙ log 2 p 1 + р 2 ∙ log 2 p 2 ) = - (0,25∙ log 2 0,25+0,75∙ log 2 0,75) ≈ -(0,25∙(-2)+0,75∙(-0,42)) =0,815 бит

Применение ЭТ Excel для решения задач на нахождение количества информации р i =K i /N I i =log 2 (1/p i )

При составлении таблицы мы должны учитывать: - Ввод данных (что дано в условии). - Подсчет общего количества числа возможных исходов (формула N=K 1 +K 2 +…+K i ). - Подсчет вероятности каждого события (формула p i = К i /N). - Подсчет количества информации о каждом происходящем событии (формула I i = log 2 (1/p i )). - Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Читайте также: