Чему равно количество информации если получили сообщение о выходе из строя одного из восьми станков

Обновлено: 04.07.2024

Решение задач по теме "Количество информации" (10кл)

Пример 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение.
Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.
N = 32, I = ?
N = 2 I , 32 = 2 5 , I = 5 бит.
Ответ: 5 бит.

Решение.
Количество информации вычисляется по формуле: 2 i = N, где i - искомая величина, N - количество событий. Следовательно, 2 3 =8.
Ответ: 3 бита.

Пример 5. Заполнить пропуски числами:

а) 5 Кбайт = __ байт = __ бит, б) __ Кбайт = __ байт = 12288 бит; в) __ Кбайт = __ байт = 2 13 бит; г) __Гбайт =1536 Мбайт = __ Кбайт; д) 512 Кбайт = 2__ байт = 2__ бит.

Решение.
а) 5 Кбайт = 5120 байт =40 960 бит,
б) 1,5 Кбайт = 1536 байт = 12 288 бит;
в) 1 Кбайт = 2 10 байт = 2 13 бит;
г) 1,5 Гбайт = 1536 Мбайт = 1 572 864 Кбайт;
д) 512 Кбайт = 2 19 байт = 2 22 бит.

Решение.
1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2 i = N; 2 8 = 256 символов

Ответ: 1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2 i = N; 2 8 = 256 символов.

Пример 7.Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов. Каков объем информации в книге?

Решение.
Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации.
Значит, страница содержит 40*60=2400 байт информации. Объем всей информации в книге: 2400*150 = 360 000 байт.
Ответ: 360 000 байт.

Решение.
Для кодировки одной из 10 цифр необходимо 4 бита. Это получаем из 2 3 4 . Объём 150 символов получим 150*4=600(бит).
Ответ: 600 бит.

Пример 9.В кодировке Unicode на каждый символ отводится два байта. Определите информационный объем слова из двадцати четырех символов в этой кодировке.

Решение.
I= K*i; I = 24*2 байт = 48 байт = 48*8бит = 384 бит.
Ответ: 384 бита.

Решение.
Количество информации вычисляется по формуле: 2 i = N, где i - искомая величина, N - количество событий.
2 i =128. Следовательно, i=7.
Ответ: 7 бит.

1.1. Что такое энтропия?

1.2. Дайте основные свойства энтропии для дискретных систем.

1.3. Укажите, когда энтропия приобретает максимальное (минимальное) значение.

1.4. Выразите энтропию объединения двух систем в случае независимых и зависимых систем.

1.5. В чем отличия количества информации по Хартли и по Шеннону?

1.6. В чем разница между понятиями объем информации и количество информации?

1.8. Приведите выражение взаимной информации.

1.9. Во что превращается полная взаимная информация в случаях полной независимости и полной зависимости систем.

Упражнения

Количество информации на символ алфавита есть энтропия данного алфавита. Так как символы алфавита не равновероятны, то энтропия равна

При вычислениях удобно воспользоваться таблицей значений функции Н(р) = -р log p (Табл.1 приложения 1).

Число принятых символов, включая пробел, k = 29. Объем информации Q = 29·7 = 203 бит. Количество информации для равновероятного алфавита I = k · H = 29· 1о g 32 == 29·5 = 145 бит.

1.4. Определите энтропию системы, состояние которой описывается случайной величиной X с рядом распределения

1.5. Определите максимально возможную энтропию системы, состоящей из четырех элементов, каждый из которых может быть в четырех состояниях равновероятно.

1.6. Вероятность появления сигнала на выходе канала связи - p , а вероятность не появления q = 1- p . При каком значении p наибольшая неопределенность появления или не появления сигнала?

1.7. Определить энтропию, содержащуюся в изображении, при условии, что последнее разлагается на 625 строк по 840 элементов в каждой строке. Яркость каждого элемента передается восемью квантованными уровнями, а яркости разных элементов некоррелированные.

1.8. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний: х1 - оба самолета не сбиты; х2 - истребитель сбит, бомбардировщик не сбит; х3 - истребитель не сбит, бомбардировщик сбит; х4 - оба самолета сбиты. Состояние системы дастся схемой

1.9. В двух корзинах имеется по 15 яблок, причем в первой урне - 5 красных, 7 белых и 3 черных, а во второй соответственно 4,4 и 7. Из каждой корзины вынимается по одному яблоку. Определите, для какой из корзин исход опыта является более определенным, (то есть вынуть задуманное яблоко).

1.10. Из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь, равна 0,65; вероятность, что будет идти снег, равна 0,15, вероятность, что не будет осадков, равна 0,2. В какой из двух перечисленных дней погоду следует считать более неопределенной?

1.11. По заданным значениям энтропии Н(Х) и Н( Y ) случайных величин X и Y и средней условной энтропии H ( X / Y ) случайной величины Х относительно Y определите среднюю условную энтропию H ( X / Y ) случайной величины Y относительно Х.

1.12. В урне два белых и три черных шара. Из урны вынимают подряд два шара. Найдите энтропию появления двух белых шаров.

1.13. Сигнал формируется в виде двоичного кода с вероятностями появления символов 1 и 0, равными соответственно 0,6 и 0,4. Появление любого из символов взаимосвязано условными вероятностями

Определите условную энтропию.

1.14. Имеются две системы X и Y , объединяемые в одну, вероятности состояний которой представлены следующей матрицей:

Определите полную условную энтропию H(Y/X).

Вычисляем безусловные вероятности как суммы совместных вероятностей по строкам и столбцам исходной матрицы

Определяем условные вероятности по формуле p ( y / x ) = p ( x , y )/ p ( x ) и составляем матрицу условных вероятностей

H(Y,X) = 0,6 (0,333 log 0,333 + 0,5 log 0,5 + 0,167 log 0,167) = 0,87 бит

1.15. Взаимодействие двух систем Х и Y описывается следующей матрицей:

Определите безусловную энтропию системы Х и системы Y.

1.16. Канал связи с помехами описан матрицей

Определите I (Х, Y ).

1.17. Канал связи описан следующей канальной матрицей:

Общая условная энтропия

Потери в канале связи D I будут равны

D I = kH(Y/X) = 1000 × 0,473 = 473 бит

H(Y) = - (0,726 log 0,726 + 0,187 log 0,187 +

+ 0,087 log 0,087) = 1,094 бит

Среднее количество полученной информации

I = k[H(Y) – H(Y/X)] = kH(Y) - D I = 1094 – 473 = 621 бит

1.18. Определите информационные потери в канале связи, описанном следующей канальной матрицей:

При вычислениях удобно воспользоваться таблицей значений функции Н(р) = -р log p (Табл.1 приложения 1).

1.4. Определите энтропию системы, состояние которой описывается случайной величиной X с рядом распределения

1.6. Вероятность появления сигнала на выходе канала связи - p, а вероятность не появления q = 1-p. При каком значении p наибольшая неопределенность появления или не появления сигнала?

1.11. По заданным значениям энтропии Н(Х) и Н(Y) случайных величин X и Y и средней условной энтропии H(X/Y) случайной величины Х относительно Y определите среднюю условную энтропию H(X/Y) случайной величины Y относительно Х.

Определите условную энтропию.

1.14. Имеются две системы X и Y, объединяемые в одну, вероятности состояний которой представлены следующей матрицей:

Определите полную условную энтропию H(Y/X).

Вычисляем безусловные вероятности как суммы совместных вероятностей по строкам и столбцам исходной матрицы

Определяем условные вероятности по формуле p(y/x) = p(x,y)/p(x) и составляем матрицу условных вероятностей

H(Y,X) = 0,6 (0,333 log 0,333 + 0,5 log 0,5 + 0,167 log 0,167) = 0,87 бит

1.15. Взаимодействие двух систем Х и Y описывается следующей матрицей:

Определите безусловную энтропию системы Х и системы Y.

1.16. Канал связи с помехами описан матрицей

Определите I(Х, Y).

1.17. Канал связи описан следующей канальной матрицей:

Общая условная энтропия

Потери в канале связи DI будут равны

DI = kH(Y/X) = 1000×0,473 = 473 бит

H(Y) = - (0,726 log 0,726 + 0,187 log 0,187 +

+ 0,087 log 0,087) = 1,094 бит

Среднее количество полученной информации

I = k[H(Y) – H(Y/X)] = kH(Y) - DI = 1094 – 473 = 621 бит

1.18. Определите информационные потери в канале связи, описанном следующей канальной матрицей:

Так как выход из строя любого станка есть событиеравновероятное, то N = 8, и
I = log2 N = log2 8 =3 бит.

2, Найдите энтропию непрерывной системы X, все состояния которой на каком-то участке (а , b) распределены по равновероятному закону.Решение.
Плотность распределения состояний системы:

Можно приближенно определить энтропию системы X, рассматриваемой с точностью до Δx

Тогда избыточность D = 1 - H/Hmax = 1-1,846/2 = 0,077.

5. Найдите коэффициент сжатия арифметическим методом последовательности.

Читайте также: