Сколько информации содержит сообщение о выпадении грани с числом 5 на шестигранном игральном кубике

Обновлено: 05.07.2024

После того как вы поделитесь материалом внизу появится ссылка для скачивания.

Подписи к слайдам:

Учитель Щанкина Наталья Валерьевна

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны: , i = 1..N. Здесь по-прежнему N — число возможных вариантов события.

Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением данного уравнения будет:

i = log2N

Данные формулы тождественны друг другу.

2i = 32 = 25

Отсюда: i = 5 бит.

Решение: Считая выпадение любой грани событием равновероятным, запишем формулу Хартли:

Отсюда: i = log26 = 2,58496 бит.

2i = 1/p

Решая данное показательное уравнение относительно i, получаем:

i = log2(1/p) формула Шеннона

Количественный подход в приближении равновероятности

События равновероятны, если ни одно из них не имеет преимущества перед другими.

Затем определяем более точное значение (с точностью до пяти знаков после запятой), что i = 2,58496 бит. Отметить, что при данном подходе количество информации может быть выражено дробной величиной.

Вероятностный подход к измерению информации

Вероятность некоторого события — это величина, которая может принимать значения от нуля до единицы.

Вероятность невозможного события равна нулю

Вероятность достоверного события равна единице

Вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.

Рассмотрим несколько примеров:

Решение: Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p5 = 25/100 = 1/4, и вероятность появления автобуса № 7: p7 = 75/100 = 3/4.

i7 = log2(4/3) = log24 – log23 = 2 – 1,58496 = 0,41504 бита.

Решение: Запишем условие задачи в следующем виде:

i5 = 4 бита, p5 = 2 · p7

Вспомним связь между вероятностью и количеством информации: 2i = 1/p

Отсюда: p = 2–i

Подставляя в равенство из условия задачи, получим:

Практическая работа 2. Решение задач с применением формулы Хартли

Цель работы: определение количества информации при содержательном подходе.

Краткое теоретическое обоснование:

Содержательный подход к измерению информации рассматривается в следующей ситуации:

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны: i>, i = 1..N.

Если равновероятные события, то величины i и N связаны между собой формулой Хартли:

N — число возможных вариантов события.

Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением уравнения (1) будет:

Формулы (1) и (2) тождественны друг другу.

Последовательность выполнения:

1. Разберите ниже приведенные примеры задач с решениями. Запишите в тетрадь.

N=1 => 2 i =1 => i=0 бит

N=4 => 2 i =4 => i=2 бит

2. Решите следующие задачи. Результат оформите в тетради.

4. (Задача о фальшивой монете). Имеется 27 монет, из которых 26 настоящих и одна фальшивая. Каково минимальное число взвешиваний на рычажных весах, за которое можно гарантированно определить одну фальшивую монету из 27, используя то, что фальшивая монета легче настоящей. Рычажные весы имеют две чашки и с их помощью можно лишь установить, одинаково ли по весу содержимое чашек, и если нет, то содержимое какой из чашек тяжелее.

5. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд?

6. Какое количество информации получит первый игрок после первого хода второго игрока в игре "крестики - нолики" на поле 4 х 4?

7. После реализации одного из возможных событий получили количество информации равное 15 бит. Какое количество возможных событий было первоначально?

8. Определить стратегию угадывания одной карты из колоды из 32 игральных карт (все четыре шестерки отсутствуют), если на вопросы будут даны ответы "да" или "нет".

9. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?

12. В библиотеке 16 стеллажей. На каждом стеллаже по 8 полок Библиотекарь сказал Оле, что интересующая ее книга находится на 3 стеллаже, на 2-й сверху полке. Какое количество информации получила Оля?

Контрольные вопросы:

1. Какой принцип положен в основу измерения количества информации?

2. Каким образом определяется единица количества информации при кибернетическом подходе?

3. Что принимается за минимальную единицу количества информации с точки зрения уменьшения неопределенности знаний в 2 раза?

4. В каких случаях применяют формулу Хартли?

Практическая работа 3. Вычисление количества информации на основе вероятностного подхода

Цель работы: совершенствование навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование: см. практическую работу 2.

Последовательность выполнения:

1. Разберите примеры решения задач

Задача 1. В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?

· По условию задачи у нас имеется 20 различных вариантов.

· Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:

или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.

Задача 2. В доме 14 окон. Сколько различных сигналов можно подать, зажигая свет в окнах? Сколько бит информации несет в себе каждый такой сигнал?

· Каждое окно несет в себе 1 бит информации: горит - не горит.

· Количество различных равновероятных сигналов, передаваемое с помощью 14 бит равно 2 14 = 16 384.

· Каждый из 16 384 сигналов несет в себе 14 бит информации.

2. Решите следующие задачи. Результат оформите в тетради.

10. Для дистанционной передачи роботу различных команд применяются сигналы в 6 бит, причем сигнала в 5 бит недостаточно для передачи всех команд. Может ли общее количество всех команд для этого робота быть равно:

42 командам? 70 командам?

28 командам? 55 командам?

Какое наименьшее и какое наибольшее количество команд может получать робот?

11. Одиннадцать одноклассников решают голосованием, куда пойти после уроков. При голосовании каждый может быть либо “за” либо “против”. Сколько различных вариантов голосования может быть? Сколько бит потребуется, чтобы закодировать результаты голосования?

12. Какое минимальное количество бит информации требуется для кодирования всех букв русского алфавита?

14. В компьютерной игре распознаются 65 различных команд управления. Сколько бит требуется отвести в блоке памяти для кодирования каждой команды? Достаточно ли отведенных бит для кодирования 100 команд?

Контрольные вопросы:

1. Какие события являются равновероятностными?

2. Приведите примеры из жизни равновероятностных событий.

3. Какая формула связывает между собой количество возможных событий и количествоинформации?

4. Как зависит количество информации от количества возможных событий?

Практическая работа 4. Решение задач с применением формулы Шеннона

Цель работы: приобретение навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование:

p_i log ₂ p_i _, где I –количество информации, N –количество возможных событий, p_i –вероятности отдельных событий. Вероятность события p_i =1/N.

Для решения задач такого типа нам необходимо знать формулу расчета вероятности исхода. Она выглядит так:

где M – это величина, показывающая сколько раз произошло событие, N – это общее число возможных исходов какого-то процесса.

Необходимо знать, что в сумме все вероятности дают единицу или в процентном выражении 100%.

Последовательность выполнения:

1. Разберите примеры решения задач и запишите их в тетрадь.

Так как информация есть уменьшение неопределенности знаний:

До переворота карты неопределенность (энтропия) составляла

H1 = log₂ N1, после него – H2 = log₂ N2.

(причем в условиях задачи N1 = 16, а N2 = 2).

В итоге информация вычисляется следующим образом:

I = H1 – H2 = log₂ N1 – log₂ N2 = log₂ N1/N2 = log₂ 16/2 = 3 бита.

Задача 2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?

Р₁=0,5; Р₂=Р₃=0,25 Þ бита.

Задача 3. Определить количество информации, получаемое при реализации одного из событий, если бросают

а) несимметричную четырехгранную пирамидку;

б) симметричную и однородную четырехгранную пирамидку.

а) Будем бросать несимметричную четырехгранную пирамидку.

Вероятность отдельных событий будет такова:

тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле Шеннона т.к. неравновероятностные события:

I = -(1 / 2 log₂ 1/2 + 1 / 4 log₂1/4 + 1 / 8 log₂1/8 + 1 / 8 log₂ 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).

б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки, т.е. равновероятностные события:

2. Решите следующие задачи. Результат оформите в тетради.

3. За контрольную работу по информатике получено 8 пятерок, 13 четверок, 6 троек и 2 двойки. Какое количество информации получил Васечкин при получении тетради с оценкой?

3. Выполните упражнение

Ниже приведены 11 событий:

1. Первый встречный человек мужского пола.

2. За понедельником будет вторник.

4. К телефону из пяти членов семьи подойдет младший сын.

5. После 31 января наступит 1 февраля.

6. После лета буде зима.

7. Каждый из 15 учеников, посещающих данные занятия, поступит на математическую специальность.

8. В лотерее победит билет с номером 777777.

9. Подброшенная монетка упадет гербом вверх.

10. На подброшенном кубике выпадет шесть очков.

11. Из выбираемых наугад карточек с цифрами выберем карточку с цифрой 5.

Задание среди 11 событий записать номера тех, которые:

1. Достоверные _________________________________________________

2. Невозможные ________________________________________________

4. Среди неопределенных указать те, которые имеют 2 равновозможных исхода ______________________________________________________

5. Неопределенные события расставить в порядке возрастания числа равновероятных исходов _______________________________________

6. Назвать событие более неопределенное____________________________

7. Назвать событие менее неопределенное. ___________________________

8. Учитывая задания № 6 и № 7, установить зависимость степени неопределенности от числа равновероятных исходов. ____________________________________________________________

9. Сделать тот же вывод, используя понятие вероятности. ____________________________________________________________

Контрольные вопросы:

1. Какие бывают события?

2. Приведите примеры равновероятных и неравновероятных событий?

3. Как определить вероятность выполнения определенного события?

5. При каком условии формула Хартли становится частным случаем формулы Шеннона?

Практическая работа 5. Решение задач на определение количества информации

Цель работы: приобретение навыка по определению количества информации на основе вероятностного и содержательного подхода

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. энтропию выражают как: H0 = log₂m.

В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x₁, x₂, … x_m c вероятностями p₁, p₂, … p_m , вычисляют по формуле Шеннона.

Последовательность выполнения:

1. Разберите примеры решения задач

Задача 1. Определите количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом

Количество информации в одной строке: I = n log m = 600 log 8, а количество информации

в кадре: I = 625 I = 625 600 log 8 = 1,125 =106 бит

1) 70 бит 2) 70 байт 3) 490 бит 4) 119 байт

1) велосипедистов было 119, у них 119 разных номеров, то есть, нам нужно закодировать 119 вариантов;

2) по таблице степеней двойки находим, что для этого нужно минимум 7 бит (при этом можно закодировать 128 вариантов, то есть, еще есть запас); итак, 7 бит на один отсчет;

3) когда 70 велосипедистов прошли промежуточный финиш, в память устройства записано 70 отсчетов;

2. Решите следующие задачи. Результат оформите в тетради.

4. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.

Контрольные вопросы:

1. Дайте определение энтропии.

2. Как связаны между собой понятия количества информации и энтропии?

3. Какие подходы к определению количества информации вам известны?

4. В чем смысл каждого из подходов к определению количества информации?

5. Что называется измерением информации?

6. Какие способы определения количества информации существуют?

7. Дайте определение количества информации.

Практическая работа 6. Решение задач на определение объема информации

Цель работы: приобретение навыка по определению количества информации на основе алфавитного подхода

Краткое теоретическое обоснование:

1. Определить количество информации (i) в одном символе по формуле

2 i = N, где N — мощность алфавита.

3. Вычислить объем информации по формуле: I = i * K.

Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К:

I = i * К.

Эта величина является информационным объемом текста.

Единицы измерения информации

Основная единица измерения информации –бит. 8 бит составляют 1 байт. Наряду с байтами для измерения количества информации используются более крупные единицы:

1 Кбайт = 2 10 байт = 1024 байта;

1 Мбайт = 2 10 Кбайт = 1024 Кбайт;

1 Гбайт = 2 10 Мбайт = 1024 Мбайт.

1 Терабайт (Тб) = 1024 Гбайт = 2 40 байта,

1 Петабайт (Пб) = 1024 Тбайта = 2 50 байта.

Последовательность выполнения:

1. Разберите примеры решения задач и запишите их в тетрадь.

Задача 1. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 32 строки по 64 символа в строке. Какой объем информации содержат 5 страниц этого текста?

N=256, => 2 i = 256, => i=8 bit

I=i*k=8*32*64*5 bit = 8*32*64*5/8 b = 32*64*5/1024 kb = 10 kb

Задача 2. Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?

Решение:

Т.к. речь идет о книге, напечатанной в электронном виде, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

k = 46*62*432 символов

I = i*k = 8*46*62*432 bit = 8*46*62*432/8 b = 46*62*432/1024 kb = 1203,1875 kb = 1,17 Mb

Т.к. объем дискеты 1,44 Mb, а объем книги 1,17 Mb, то она на дискету уместится.

Задача 3. Скорость информационного потока – 20 бит/с. Сколько минут потребуется для передачи информации объемом в 10 килобайт.

Решение:

t = I/v = 10 kb/ 20 бит/c = 10*1024 бит/ 20 бит/c = 512 c = 8,5 мин

Задача 4. Лазерный принтер печатает со скоростью в среднем 7 Кбит в секунду. Сколько времени понадобится для распечатки 12-ти страничного документа, если известно, что на одной странице в среднем по 45 строк, в строке 60 символов.

Решение:

Т.к. речь идет о документе в электронном виде, готовым к печати на принтере, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

K = 45*60*12 символов

I = i*k = 8*45*60*12 bit = 8*45*60*12/8 b = 45*60*12/1024 kb = 31,6 kb

t = I/v = 31,6 kb/ 7 Кбит/c = 31,6*8 kбит/ 7 Кбит/c = 36 c

Решение:

Объем 1 символа вкодировке КОИ-8 равен 1 байту, а в кодировке Unicode – 2 байтам.

2. Решите следующие задачи. Результат оформите в тетради.

4. Сколько гигабайт содержит файл объемом 235 бит?

5. Текстовый файл copia.txt имеет объем 40960 байт. Сколько таких файлов можно записать на носитель объемом 5 Мбайт?

7. В алфавите некоторого языка два символа Х и О. Слово состоит из четырех символов, например: ООХО, ХООХ. Укажите максимально возможное количество слов в этом языке.

8. Для записи текста использовался 64-символьный алфавит. Сколько символов в тексте, если его объем равен 8190 бита?

9. Укажите наибольшее натуральное число, которое можно закодировать 8 битами (если все числа кодируется последовательно, начиная с единицы).

12. Найдите х из следующего соотношения: 8х бит = 16 Мбайт.

13. Цветное растровое графическое изображение с палитрой 256 цветов имеет размер 64х128 пикселей. Какой информационный объем имеет изображение?

14. Для хранения растрового изображения размером 64х128 пикселей отвели 4 Кбайта памяти. Каково максимально возможное количество цветов в палитре изображения?

Контрольные вопросы:

1. Как измеряется информация при содержательном подходе?

2. В чем заключается алфавитный подход к определению количества информации?

3. Что такое алфавит? Что называется мощностью алфавита? Что называется объемом информации?

4. Чему равен информационный вес символа компьютерного алфавита?

7. Какие единицы измерения информации существуют?

Практическая работа7. Комплексная работа по определению количества информации

Цель работы: контроль навыков определения количества информации.

Краткое теоретическое обоснование: см.практические работы 1-6.

Последовательность выполнения:

· Выполните ТЗ№1. Тест 3. Единицы измерения информации. В тесте необходимо выбрать только один ответ из предложенных вариантов. Выполнять тест лучше самостоятельно, без применения конспектов, учебников и прочей вспомогательной литературы.

Измерение информации: содержательный подход

Как измерить знания у человека? Вспомним определение информации и знаний.

Чтобы узнать что-то, люди задают вопросы. Наименьшую порцию знаний человек получает услышав в ответ "ДА" или "НЕТ". Если вопрос сформулирован правильно, то область незнания (неопределенность знаний) уменьшается в 2 раза. Минимальная порция получила название бит : binary digit - двоичная цифра.

Неопределенность знаний о некотором событии - это количество возможных результатов события.

Среди каких чисел ищем	Вопрос	Ответ	Бит
1 2 3 4 5 6 7 8	Число > 4	Да	1
5 6 7 8	Число > 6	Нет	0
5 6	Это число = 5	Да	1

Задумано число 5. Получили результат за 3 вопроса. Знания увеличились на 3 бита: 101. Нетрудно понять, что при 16 числах понадобится 4 вопроса и т.д.

Среди каких чисел ищем	Вопрос	Ответ	Бит
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16	Число > 8	Да	1
9 10 11 12 13 14 15 16	Число 10	Нет	0
9 10	Это число = 10	Нет	0

Задумано число 9. Объем знаний возрос на 4 бита: 1100

Составим таблицу количества возможных вариантов выбора и объема информации, получаемой при решении задачи.

Количество вариантов	Количество вопросов (бит)
2	1
4	2
8	3
16	4
32	5
64	6
128	7
256	8
512	9
1024	10
.	.

Пример: после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил: "Зачет", "незачет"? "2", "3", "4" или "5"?

N количество вариантов	i количество вопросов (бит)	Связь между N и i
2	1	2 1
4	2	2 2
8	3	2 3
16	4	2 4
32	5	2 5
64	6	2 6
128	7	2 7
256	8	2 8
512	9	2 9
1024	10	2 10
.	.	.

Формула вычисления количества информации

2 i = N

В перемешенной колоде выпадение любой карты равновероятное событие.

i > 2 и i Объем информации может быт дробным числом! Решение таких уравнений изучают в старших класса. Здесь приведем готовый ответ: i = 2,5849625007211561814537389439478 бит

Измерение информации: алфавитный подход

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия "новые - старые", "понятные - непонятные" сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода при измерении знаний конкретного человека.

Вспомним определение алфавита и его мощности (не забудьте вернуться назад).

Мощность алфавита только из заглавных русских букв равна 32.

Будем писать, как это делали до 4-го века нашей эры: без пробелов и знаков препинания, т.е. слитно.

Сколько информации тогда несет один символ?

Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита.
В каждой очередной позиции текста может появиться любой из N символов.
Тогда, согласно известной нам формуле 2 i = N , каждый такой символ несет i бит информации, которое можно определить из решения уравнения: 2 i = 32.

Получаем: i = 5 бит.

Количество информации в тексте

А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

Посчитаем количество информации на одной странице книги.

Пусть страница содержит 50 строк. В каждой строке - 60 символов. Значит, на странице умещается
50 * 60=3000 знаков. Тогда объем информации будет равен: 5 * 3000 = 15000 бит.

Вывод: при алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

А что если алфавит состоит только из двух символов 0 и 1?

В этом случае: N = 2; 2 i = N; 2 i = 2; i = 1

При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.

"Компьютерный" алфавит (смотрите таблицу)

Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 2 4 = 16. А если N =32, то один символ "весит" 5 бит.

Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встречаемся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.

Поскольку 256 = 2 8 , то один символ этого алфавита "весит" 8 бит. Причем 8 бит информации - это настолько характерная величина, что ей даже присвоили свое название - байт.

Количество информации в тексте

В настоящее время для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов.

В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах.

Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов.
Значит страница содержит 40 * 60=2400 байт информации.
Объем всей информации в книге: 2400 * 150 = 360 000 байт.

Более крупные единицы информации

8 бит = 1 байт
1 КБайт = 1024 Байт = 2 10 Байт
1 МБайт = 1024 КБайт = 2 10 КБайт
1 ГигаБайт = 1024 МБайт = 2 10 МБайт
1 ТераБайт = 1024 ГБайт = 2 10 ГБайт
1 ПетаБайт = 1024 ТБайт = 2 10 ТБайт

Перевод из одной единицы в другую

5 МБайт = 5 * 1024 КБайт = 5120 КБайт

2 КБайт = 2 * 1024 Байт = 2048 Байт

20 Байт = 20 * 8 бит = 160 бит

4 МБайт = 4 * 1024 * 1024 Байт = 4194304 Байт

1/256 МБайт = 1/256 * 1024 * 1024 * 8 бит = 32768 бит

4096 КБайт = 4096 : 1024 МБайт = 4 МБайт

512 МБайт = 512 : 1024 ГБайт = 0,5 ГБайт

Скорость передачи информации

Прием-передача информации могут происходить с разной скоростью.

Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока.

Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с),
килобит в секунду (Кбит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.

Задача 5: Племя Мумбу-Юмбу использует алфавит из букв: α β γ δ ε ζ η θ λ μ ξ σ φ ψ точка и для разделения слов используется пробел.
Сколько информации несет свод законов племени, если в нем 12 строк и в каждой строке по 20 символов?

1.25 КБ = 1.25 * 1024 * 8 бит = 10240 бит. Столько информации в тексте.

i = 10240 : 2048 = 5 (бит) приходится на 1 символ

Находим количество символов в алфавите языка (N), на котором написан текст:

После того как вы поделитесь материалом внизу появится ссылка для скачивания.

Подписи к слайдам:

Учитель Щанкина Наталья Валерьевна

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны: , i = 1..N. Здесь по-прежнему N — число возможных вариантов события.

i = log2N

Данные формулы тождественны друг другу.

2i = 32 = 25

Отсюда: i = 5 бит.

Решение: Считая выпадение любой грани событием равновероятным, запишем формулу Хартли:

Отсюда: i = log26 = 2,58496 бит.

2i = 1/p

Решая данное показательное уравнение относительно i, получаем:

i = log2(1/p) формула Шеннона

Количественный подход в приближении равновероятности

События равновероятны, если ни одно из них не имеет преимущества перед другими.

Вероятностный подход к измерению информации

Вероятность некоторого события — это величина, которая может принимать значения от нуля до единицы.

Вероятность невозможного события равна нулю

Вероятность достоверного события равна единице

Рассмотрим несколько примеров:

i7 = log2(4/3) = log24 – log23 = 2 – 1,58496 = 0,41504 бита.

Решение: Запишем условие задачи в следующем виде:

i5 = 4 бита, p5 = 2 · p7

Вспомним связь между вероятностью и количеством информации: 2i = 1/p

Отсюда: p = 2–i

Подставляя в равенство из условия задачи, получим:

Читайте также: