Каким образом количество информации связано с вероятностью того что полученное сообщение не искажено

Обновлено: 05.07.2024

Для учеников 1-11 классов и дошкольников
Бесплатные сертификаты учителям и участникам

Тема: Вероятностный подход к определению количества информации

сформировать у уча щихся понимание вероятности, равновероятных событий, не равновероятных событий;

научить находить количество информации.

Мы с вами говорили о том, что в основе нашего мира лежат три состав ляющие - вещество, энергия и информация. А как много в мире вещества, энергии и информации.

- Можно ли измерить количество вещества и как именно? (Вещество можно взвесить (в килограммах, гаммах и т.д.) на весах, определить его длину (в сантиметрах, в метрах и т.д.) с помощью линейки; найти его объем, применив соответствующие измерения и т.д.)

— Можно ли определить количество энергии? (Можно, например, найти количество тепловой энергии в Дж, электроэнергии в кВт/ч, и т.д.)

Можно ли измерить количество информации и как это сделать? (Пол ного и правильного ответа на этот вопрос учащиеся не дадут.)

Оказывается, информацию также можно измерять и находить ее количество.

Существуют два подхода к измерению информации.

Один из них называется содержательный или вероятностный. Из назва ния подхода можно сделать вывод, что количество информации зависит от ее содержания.

Упражнение 1 (устно)

1. Столица России - Москва.

2: Сумма квадратов катетов равна квадрату гипотенузы.

Дифракцией света называется совокупность явлений, которые обус ловлены волновой природой света и наблюдаются при его распростра нении в среде с резко выраженной оптической неоднородностью.

Эйфелева башня имеет высоту 300 метров и вес 9000 тонн.

Содержит ли информацию учебник физики за 10 класс? (Да).

Для кого он будет информативным - для ученика 10 класса или 1 клас са? (Для ученика 10 класса он будет информативным, так как в нем со держится новая и понятная ему информация, а для ученика 1 класса она информативной не будет, так как информация для него непонятна.)

Вывод: количество информации зависит от информативности.

2. Введение понятия вероятностного подхода в измерении инфор мации

Пояснение: пример можно продемонстрировать практически.

Упражнение 2 (устно)

Еще один пример. На экзамен приготовлено 30 билетов.

Чему равно количество событий, которые могут произойти при вытя гивании билета? (30)

Равновероятны эти события или нет? (Равновероятны.)

Чему равна неопределенность знаний ученика перед тем как он вытя нет билет? ( 30)

Во сколько раз уменьшится неопределенность знания после того как ученик билет вытянул? (В 30раз.)

Зависит ли этот показатель от номера вытянутого билета? (Нет, т.к. события равновероятны.)

Приведите свои примеры равновероятных событий c указанием величины неопределенности знаний.

Из всех рассмотренных примеров можно сделать следующий вывод:

Получите вы новую информацию после броска? (Нет, так как ответ мы уже знали заранее.)

Чему равно количество информации в этом случае? (Нулю, т.к. оно неинформативно.)

Еще одно определение 1 бита:

Опр. 1 бит — это количество информации, уменьшающее неопределенность знаний в два раза.

Действительно, существует формула, которая связывает между собой ко личество возможных событий и количество информации.

N = 2 i ; где N - количество возможных вариантов,

I - количество информации.

Если из этой формулы выразить количество информации, то получится I = log 2 N .

Как пользоваться этими формулами для вычислений:

если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Вернемся к примеру: N = 32; I = 5, т.к. 32 = 2 5 ;

если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться сле дующей таблицей.

Например: Какое количество информации можно получить при угадыва нии числа из интервала от 1 до 11? В этом примере N = 11. Чтобы найти I (количество информации), необходимо воспользоваться таблицей. По таб лице I = 3,45943 бит.

Упражнение 4 (устно)

1. Какое количество информации будет получено при отгадывании чис ла из интервала:

- от 1 до 64 - от 1 до 61

3. Неравновероятные события

На самом деле рассмотренная нами формула является частным случаем, так как применяется только к равновероятным событиям. В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.

Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

Если в мешке лежат 10 белых шаров и 3 черных, то вероятность до стать черный шар меньше, чем вероятность вытаскивания белого.

Если одна из сторон кубика будет более тяжелой, то вероятность выпадения этой стороны будет меньше, чем других сторон.

Упражнение 5 (устно)

Приведите примеры событий с разной вероятностью, несколько приме ров запишите в тетрадь.

Для этого необходимо использовать следующую формулу.

I = log ₂ (1/ p ), где I - это количество информации, р - вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле:

р = К / N , где К — величина, показывающая, сколько раз произошло ин тересующее нас событие, N — общее число возможных исходов какого-то процесса.

Пояснение: так как дети еще не умеют вычислять значения логарифмической функции, то можно использовать при решении задач этого урока следующий прием:

В какую степень необходимо возвести число 2, чтобы получилось чис ло, стоящее под знаком логарифма

Закрепление изученного

Найдем вероятность того, что достали белый шар: р _б = 15 / 20 = 0,75;

Найдем вероятность того, что достали красный шар: р _к = 5 / 20 = 0,25.

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вы числите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

- Являются ли события равновероятными? Почему? (Нет, т.к. количес тво кубиков разное.)

- Какую формулу будем использовать для решения задачи? ( I = log (1/ N )
Решение:

Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.

Найдем вероятности: р _к = 10 / 35 « 0,29, р _з = 8/35-0,22,

3. Найдем количество информации:

I к = log 2( l /0,29) = log 23,4 = 1,85695 бит, Ic = log 2( l /0,34) = log 22,9 = 1,71498 бит, I з = log 2( 1/0,22) = log 24,5 = 2,132007 бит, I ж = log 2( l /0,14) = log 27, l = 2,672612 бит.

Решение задач, в условии которых события не равновероятны

N = 8 + 24 = 32 - шара всего;

р _ч = 8/32 = ¼ — вероятность доставания черного шара;
3) I _ч = log ₂ ( 1/1/4) = 2 бита. Ответ: 2 бита.

Дано: N = 64; I ₆ = 4.

Решение:1 !) I ₆ = log ₂ ( l / p ₆ ); 4 = log ₂ ( l / p ₆ ); 1/р ₆ =16; р _б = 1/16-вероятность доста вания белого карандаша;

2) р ₆ = K ₆ / N ; 1/16 = К/64; К _б = 64/16 = 4 белых карандаша. Ответ: 4 белых карандаша.

2) I ₄ = log ₂ ( l / p ₄ ) = log ₂ ( l / l /2)=1 бит. Ответ: 1 бит.

Известно, что в ящике лежат 20 шаров. Из них 10 - синих, 5 - зеленых, 4 — желтых и 1 — красный.

Решение :

р _с = K _с / N = 10/20 = 1/2 — вероятность доставания синего шара;

р _з = K з/ N = 5/20 = 1/4 — вероятность доставания зеленого шара;

р _ж = K _ж / N = 4/20 = 1/5 — вероятность доставания желтого шара;

р _к = K _K / N = 1/20 — вероятность доставания красного шара;
5) I _с = log ₂ (1/1/2)=1бит;

7) I _ж = log ₂ ( 1/1/5) = 2,236 бит ; ( 2,3219281 бит )

8) I _K = log ₂ ( 1/1/20) = 4,47213 бит . ( 4,32193 бит)

Ответ: 1 _с = 1 бит, 1 _з = 2 бит, 1 _ж = 2,236 бит, 1 _к = 4,47213 бит.

Дано: N = 100,1 ₄ = 2 бита. Найти: К ₄ - ? Решение:

Дано: К _ч = 2, I _ч = 4 бита.

I _ч = log ₂ ( l / p _ч ), 4 = log ₂ ( l / p _ч ), 1/р _ч = 16, р _ч = 1/16 - вероятность доставания черных перчаток;

р _ч = K ч/ N , N = Кч/р _ч , N = 2*16 = 32 - всего перчаток в ящике;

К ₆ = N - К _ч = 32 - 2 = 30 пар белых перчаток.
Ответ: 30 пар белых перчаток.

Дано: К _б = Кс =8, I ₆ = 2 бита.

I ₆ = log ₂ ( l / P ₆ ), 2 = log ₂ ( l / p ₆ ), 1/р ₆ = 4, р ₆ = '/ ₄ - вероятность расхода белой банки;

N = К _б /р _б = 8/(1/4) = 32 - банки с краской было всего;

К _к .= N - К ₆ - Кс = 32 - 8 - 8 = 16 банок коричневой краски.
Ответ: 16 банок коричневой краски.

Дано: Кч = 16, I _б = 2 бита.

1) 1/р _б = 2 i , 1/р ₆ = 2 2 = 4, р _б = 1/4 - вероятность доставания белого шара;

3) N = К _ч +К _б = 18 + 6 = 24 шара было в корзине.
Ответ: 24 шара лежало в корзине.

Решение задач, в условии которых события равновероятны

Ответ: 1 бит.

Вы подошли к светофору, когда горел красный свет. После
этого загорелся желтый свет. Сколько информации вы при
этом получили?

Решение: из двух сигналов (желтого и зеленого) необходимо выбрать один - зеленый. Поэтому N = 2, а I = 1 бит.

Решение: из 4 дорожек необходимо выбрать одну, т.е. N = 4. Значит по [формуле 1 = 2, т.к. 4 = 2 2 .

Пояснение: номер дорожки (3) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми. Ответ: 2 бита.

Решение: так как из 16 вагонов нужно выбрать один, то N = 16, следова тельно, I = 4 (16 = 2 4 ).

Ответ: 4 бита.

При угадывании целого числа в некотором диапазоне было
получено 6 бит информации. Сколько чисел содержит этот
диапазон?

Решение: N = 2 9 = 512. Ответ: диапазон чисел имеет значение от 1 до 512.

Решение: N = 2 4 = 16 этажей. Пояснение: события равновероятны, т.к. номера этажей не повторяются. Ответ: 16 этажей.

Решение: N = 2 3 = 8 подъездов. Пояснение: события равновероятны, т.к. номера подъездов не повторяются. Ответ: 8 подъездов.

Решение: N = 6, следовательно, I = log ₂ 6. Смотрим по таблице и видим, что I - 2,58496 бит. Ответ: 2,5 бит.

На железнодорожном вокзале 8 путей отправления поездов. Вам сообщи ли, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?

Решение: из 8 путей нужно выбрать один. Поэтому N = 8, а I = 3, т.к. 8 = 2 3 . Пояснение: номер пути (4) не влияет на количество информации, так как | вероятности событий в этих задачах мы приняли считать одинаковыми. Ответ: 3 бита. №8

Домашнее задание:

Вы угадываете знак зодиака вашего друга. Сколько вопросов вам нуж но при этом задать? Какое количество информации вы получите?

В ведерке у рыбака караси и щуки. Щук в ведерке 3. Зрительное со общение о том, что из ведра достали карася, несет 1 бит информации. Сколько всего рыб поймал рыбак?

Цели уроков: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя вероятностный подход. Создать в Excel информационную модель для автоматизации процесса вычислений в задачах на нахождение количества информации, используя формулу Шеннона.

Требования к знаниям и умениям:

Учащиеся должны знать:

Учащиеся должны уметь:

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.

Урок 1. Вероятностный подход к определению количества информации. Формула Шеннона

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок.

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но третье задание вызывает затруднение. Делаются различные предположения. Роль учителя: подвести учащихся к осмыслению, что в четвертом варианте мы сталкиваемся с ситуацией, когда события неравновероятны. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

IV. Объяснение нового материала.

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К₁ – это количество пирожков с повидлом, К₁=24

К₂ – количество пирожков с капустой, К₂=8

N – общее количество пирожков, N = К₁ +К₂=24+8=32

Вычислим вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Вероятность выбора пирожка с повидлом: р₁=24/32=3/4=0,75.

Вероятность выбора пирожка с капустой: р₂=8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Пояснение: если учащиеся не умеют вычислять значение логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Вернемся к нашей задаче с пирожками. Мы еще не ответили на вопрос: сколько получим информации при выборе пирожка любого вида?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I-количество информации, N-количество возможных событий, р_i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит.)
Вася получил за экзамен 3 балла (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)
Бабушка испекла 12 пирожков с капустой, 12 пирожков с повидлом. Маша съела один пирожок. (Отв.: 1 бит.)
Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок. (Отв.: 0,815 бит.)

Обратите внимание на 3 и 4 задачу. Сравните количество информации.

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Можно ли применить формулу К. Шеннона для равновероятных событий?

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V. Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Дано: К_к=4;N=32

Найти: I_к, I

Решение:

VI. Подведение итогов урока.

Урок 2. Применение ЭТ Excel для решения задач на нахождение количества информации

Пояснение: При решении задач на нахождение количества информации учащиеся не вычисляли значение логарифма, т.к. не знакомы с логарифмической функцией. Урок строился таким образом: сначала решались однотипные задачи с составлением формул, затем разрабатывалась табличная модель в Excel, где учащиеся делали вычисления. В конце урока озвучивались ответы к задачам.

Ход урока

I. Постановка целей урока

Для решения задач на нахождение вероятности и количества информации используем формулы, которые вывели на прошлом уроке:

II. Решение задач.

Ученикам дается список задач, которые они должны решить.

Задачи решаются только с выводами формул, без вычислений.

Решение:

III. Объяснение нового материала.

Задается вопрос ученикам:

1. Какие трудности возникают при решении задач данного типа? (Отв.: Вычисление логарифмов).

2. Нельзя ли автоматизировать процесс решения данных задач? (Отв.: можно, т.к. алгоритм вычислений в этих задачах один и тот же).

3. Какие программы используются для автоматизации вычислительного процесса? (Отв.: ЭТ Excel).

Давайте попробуем сделать табличную модель для вычисления задач данного типа.

Нам необходимо решить вопрос, что мы будем вычислять в таблице. Если вы внимательно присмотритесь к задачам, то увидите, что в одних задачах надо вычислить только вероятность событий, в других количество информации о происходящих событиях или вообще количество информации о событии.

Мы сделаем универсальную таблицу, где достаточно занести данные задачи, а вычисление результатов будет происходить автоматически.

Структура таблицы обсуждается с учениками. Роль учителя обобщить ответы учащихся.

При составлении таблицы мы должны учитывать:

Ввод данных (что дано в условии).
Подсчет общего количества числа возможных исходов (формула N=K₁+K₂+…+K_i).
Подсчет вероятности каждого события (формула p_i= К_i/N).
Подсчет количества информации о каждом происходящем событии (формула I_i= log₂(1/p_i)).
Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Прежде чем демонстрировать заполнение таблицы, учитель повторяет правила ввода формул, функций, операцию копирования (домашнее задание к этому уроку).

При заполнении таблицы показывает как вводить логарифмическую функцию. Для экономии времени учитель демонстрирует уже готовую таблицу, а ученикам раздает карточки-памятки по заполнению таблицы.

Рассмотрим заполнение таблицы на примере задачи №1.

Рис. 1. Режим отображения формул

Рис. 2. Отображение результатов вычислений

Результаты вычислений занести в тетрадь.

Если в решаемых задачах количество событий больше или меньше, то можно добавить или удалить строчки в таблице.

VI. Практическая работа.

1. Сделать табличную модель для вычисления количества информации.

2. Используя табличную модель, сделать вычисления к задаче №2 (рис.3), результат вычисления занести в тетрадь.

3. Используя таблицу-шаблон, решить задачи №3,4 (рис.4, рис.5), решение оформить в тетради.

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

VII. Подведение итогов урока.

Учитель оценивает работу каждого ученика. Оценивается не только практическая работа на компьютере, но и оформление решения задачи в тетради.

VIII. Домашняя работа.

Измерение информации. Часть 1

6 июня, 2013 Andrey K

Выделяют следующие подходы к определению количества информации :

Вероятностный подход
- Равновероятностный
- Неравновероятностный
Алфавитный подход

Данные подходы изучаются в школьном курсе информатики.

Вероятностный подход

Вероятностный подход связан с таким понятием как ВЕРОЯТНОСТЬ.
ВЕРОЯТНОСТЬ — это отношение количества тех наблюдений, при которых рассматриваемое событие наступило, к общему количеству наблюдений. Такая трактовка допустима в случае достаточно большого количества наблюдений или опытов.

Вероятность обозначают буквой p .

Единицы измерения информации: бит, байт, кбайт и т.д.

1 бит — это количество информации, уменьшающее неопределенность знаний в два раза.

При РАВНОВЕРОЯТНОСТНОМ ПОДХОДЕ вероятности наступления того или иного события равны.

Для измерения количества информации, полученной нами при равновероятном событии, используем формулу

(где N — количество возможных исходов события (2 стороны в примере с монеткой),
i — количество информации, которое мы получим, при том или ином исходе события)

Пример: Мы подбрасываем монетку. В большинстве своих случаев (не учитывает ребро) она может упасть либо на ОРЕЛ, либо на РЕШКУ. Вероятность наступления данных событий равны (50\50) — т.е. это равновероятностный подход. 2 равновероятных события. Таким образом: 2=2 i . i=1 биту. Это то количество информации, которое мы получим, когда монетка упадет, и мы узнаем, на какую сторона выпала (орел или решка).

При НЕРАВНОВЕРОЯТНОСТНОМ ПОДХОДЕ вероятности исходов событий не равны.

Пример: В коробке 16 карандашей. Из них 8 синих, 4 красных, 4 зеленых. Вероятность достать из коробки синий карандаш больше, чем вероятность достать зеленый или красный.

Для измерения количества информации при неравновероятностном подходе используют следующие формулы:

(где К — количество интересующих нас событий (достать синий карандаш K=8), N — общее количество события)

(где i — количество информации, которое мы получим, при том или ином исходе события)

Вторая формула называется формулой Шеннона (правда в другом виде). В оригинале формула Шеннона выглядит так

Использование или неиспользовании этой формулы зависит от того, знают ли ученики про логарифм или нет.

Задача: В коробке 16 карандашей. Из них 8 синих, 4 красных, 4 зеленых. Сколько бит информации мы получим, вытащив из коробки синий карандаш?

Определим вероятность получения синего карандаша. Итак, количество интересующих нас событий (достать синий карандаш) равна 8. Общее количество событий равно 4+4+8=16.
Вероятность p=8/16.
Поставив получившееся значение в формулу 1/p=2 i , получим: 2=2 i .
Получаем, что i=1 Биту.

Ответ : 1 бит информации мы получим, вытащив синий карандаш из коробки.

Продолжение рассмотрения этой темы смотрите в следующих постах.

Спасибо за внимание!

ГОСТ

В основе нашего мира лежат три составляющие: вещество, энергия и информация. Как много в мире вещества, энергии и информации? Можно ли их измерить и как именно? Нам известны способы измерения количества вещества и энергии. Но как быть с информацией? Можно ли ее измерить?

Ранее уже отмечалось, что существует несколько подходов к оценке количества информации. Сейчас мы более подробно остановимся на одном из них.

Равновероятные события

Другим примером является ситуация с шестигранным кубиком, т.е. перед броском никто не может знать, какой стороной он упадет. В данном случае присутствует возможность получить один результат из шести равновероятных. Таким образом, до броска неопределенность знаний бросающего будет равна 6, после же броска, она уменьшится ровно в 6 раз, поскольку именно 6 равновероятных событий может произойти.

Рассмотрим пример, где для экзамена приготовили 40 билетов. Вероятность событий, которые произойдут при вытягивании билета, будет равна 40. Причем эти события будут равновероятны. При этом неопределенность знаний студента перед выбором билета, будет равна 40. Соответственно неопределенность знания после того как студент взял билет уменьшится в 40 раз. Зададимся вопросом, зависит ли этот показатель от номера вытянутого билета. Нет, поскольку события равновероятны.

Готовые работы на аналогичную тему

Неравновероятные события

Рассмотрим в качестве примера разговорные языки. Обратимся к фактам доказанных исследований, которые показывают, что во всех разговорных языках одни буквы встречаются гораздо чаще, чем другие. Результаты исследований подтверждают, что на $1000$ букв в разных разговорных языках приходится различное число повторений. В качестве примеров в таблице приведены некоторые буквы в русском и английском языках:

Как определить, какое количество информации содержит, например, текст романа "Война и мир", или фрески и полотна великих итальянских художников, или генетический код человека? Ответы на эти вопросы и подобные им науке пока не известны и, по всей вероятности, еще не скоро будут известны. Однако всех интересует, возможно ли объективно оценить количество информации? К задаче подобного рода можно отнести следующий пример.

Оценка количества информации. Формула Шеннона

Шеннон определил энтропию как среднюю логарифмическую функцию множества вероятностей возможных состояний системы (возможных исходов опыта). Для расчета энтропии Шеннон предложил следующее уравнение:

$H= -( p_1log_2p_1+p_2log_2p_2+. . .+p_Nlog_2p_N)$,

где $p_i$ - вероятность появления $i$-того события в наборе из $N$ событий.

Тогда количество информации, полученное в результате опыта, будет не что иное, как разность между энтропией системы до ($H_0$) и после ($H_1$) опыта:

причем если неопределенность в результате опыта полностью исключается, то имеем:

$I=\Sigma (p_ilog_2p_i), i=1,\dots ,N$.

Рассмотрим пример, подтверждающий использование данной теории Шеннона на практике.

Решение. События улова пескаря или окуня не являются равновероятными, поскольку окуней в озере обитает намного меньше, чем пескарей.

Общее количество пескарей и окуней, обитающих в озере:

$1500 + 500 = 2000$.

Определим вероятность улова пескаря:

Определим вероятность улова окуня:

где $I_1$ и $I_2$ - вероятности улова пескаря и окуня соответственно.

$I = - p_1log_2p_1 - p_2log_2p_2$

Читайте также: