Количество информации которое содержит сообщение закодированное с помощью знаковой системы равно

Обновлено: 04.07.2024

N = 2 i

(1.1)

Бит. Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3 ), "Мега" (10 6 ), "Гига" (10 9 ) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

Таким образом, количество экзаменационных билетов равно 32.

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

8 = 2 × 2 × 2 = 2 3 .

Алфавитный подход к определению количества информации

Рис. 1.5. Передача информации

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации "бит" (bit) получила свое название ОТ английского словосочетания "Binary digiT" - "двоичная цифра".

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:

Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).

Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:

32 = 2 I , откуда I = 5 битов.

1. Пусть две книги на русском и китайском языках содержат одинаковое количество знаков. В какой книге содержится большее количество информации с точки зрения алфавитного подхода?

Содержательный подход к измерению информации рассматривает информацию с точки зрения человека, как уменьшение неопределенности наших знаний.

Однако любое техническое устройство не воспринимает содержание информации.Поэтому в вычислительной технике используется другой подход к определению количества информации. Он называется алфавитным подходом.

Алфавит - множество символов, используемых при записи текста.

Мощность (размер) алфавита - полное количество символов в алфавите.

Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и отмеченных дополнительных символов равна 54.
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. В действительности это не совсем так, но для упрощения примем такое предположение. В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле N = 2 I (см. содержательный подход ) каждый такой символ несет I бит информации, которое можно определить из решения уравнения: 2 I = 54. Получаем: I = 5.755 бит - такое количество информации несет один символ в русском тексте.

Чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на I.
Посчитаем количество информации на одной странице книги. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50x60=3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Таким образом, алфавитный подход к измерению информации можно изобразить в виде таблицы:

При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.

Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Для измерения больших объемов информации используются следующие единицы:

1 Кб (один килобайт)= 1024 байт=2 10 байт
1 Мб (один мегабайт)= 1024 Кб=2 10 Кбайт=2 20 байт
1 Гб (один гигабайт)= 1024 Мб=2 10 Mбайт=2 30 байт
1Тбайт (один терабайт)=2 10 Гбайт=1024Гбайт=2 40 байт
1Пбайт(один петабайт)=2 10 Тбайт=1024Тбайт=2 50 байт
1Эбайт(один экзабайт)=2 10 Пбайт=1024Пбайт=2 60 байт
1Збайт(один зетабайт)=2 10 Эбайт=1024Эбайт=2 70 байт
1Йбайт(один йотабайт)=2 10 Збайт=1024Збайт=2 80 байт.

Представление информации в различных формах происходит в процессе восприятия окружающей среды живыми организмами и человеком, в процессах обмена информацией между человеком и человеком, человеком и компьютером, компьютером и компьютером и т.д. Преобразование информации из одной формы в другую (кодирование) необходимо для того, чтобы живой организм, человек или компьютер мог хранить и обрабатывать информацию в удобной для него форме, на понятном для него языке.

В процессе преобразования информации из одной формы представления (знаковой системы) в другую происходит кодирование. Средством кодирования служит таблица соответствия знаковых систем, которая устанавливает взаимно однозначное соответствие между знаками или группами знаков двух различных знаковых систем.

В процессе обмена информацией часто приходится производить операции кодирования и декодирования информации. При вводе знака алфавита в компьютер путем нажатия соответствующей клавиши на клавиатуре происходит его кодирование, т.е. преобразование в компьютерный код. При выводе знака на экран монитора или принтер происходит обратный процесс – декодирование, когда из компьютерного кода знак преобразуется в графическое его изображение.

Кодирование – это операция преобразования знаков или групп знаков одной знаковой системы в знаки или группы другой знаковой системы.

При хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цвета точек изображения и т.д.).

Исходя из вероятностного подхода к определению количества информации, набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события).

Системы счисления. Запись чисел в различных системах счисления,

Выполнение арифметических операций

Для записи информации о количестве объектов используются числа. Числа записываются с использованием особых знаковых систем, которые называются системами счисления. Алфавит систем счисления состоит из символов, которые называются цифрами. Например, в десятичной системе числа записываются с помощью десяти всем хорошо известных цифр: 0, 1, 2 и т.д.

Система счисления – это знаковая система, в которой числа записываются по определенным правилам с помощью символов некоторого алфавита, называемых цифрами.

Все системы счисления делятся на две большие группы: позиционные и непозиционные. В позиционных системах счисления значение цифры зависит от ее положения в числе, а в непозиционных – не зависит.

Самой распространенной из непозиционных систем счисления является римская.

Первая позиционная система счисления была придумана еще в древнем Вавилоне, причем вавилонская нумерация была шестидесятеричной, т.е. в ней использовалось шестьдесят цифр. В XIX веке довольно широкое распространение получила двенадцатеричная система счисления.

В позиционных системах счисления количественное значение цифры зависит от ее позиции в числе.

Наиболее распространенными в настоящее время позиционными системами счисления являются десятичная, двоичная, восьмеричная и шестнадцатеричная. Каждая позиционная система имеет определенный алфавит цифр и основание.

В позиционных системах счисления основание системы равно количеству цифр (знаков в ее алфавите) и определяет, во сколько раз различаются значения цифр соседних разрядов числа.

Десятичная система счисления имеет алфавит цифр, который состоит из десяти всем известных, так называемых арабских, цифр и имеет основание, равное 10, двоичная – две цифры и основание 2, восьмеричная – восемь цифр и основание 8, шестнадцатеричная – шестнадцать цифр (в качестве цифр используются и буквы латинского алфавита) и основание 16.

Наиболее распространенной позиционной системой счисления является десятичная система. Рассмотрим в качестве примера десятичное число 555. Цифра 5 встречается трижды, причем самая правая обозначает пять единиц, вторая справа – пять десятков и, наконец, третья – пять сотен. Позиция цифры в числе называется разрядом. Разряд числа возрастает справа налево, от младших разрядов к старшим.

Число в позиционных системах счисления записывается в виде суммы числового ряда степеней основания в данном случае 10), в качестве коэффициентов которых выступают цифры данного числа.

В общем случае в десятичной системе запись числа А₁₀, которое содержит n целых разрядов числа и m дробных разрядов числа, производится следующим образом: .

В двоичной системе основание равно 2, а алфавит состоит из двух цифр (0 и 1). Следовательно, числа в двоичной системе в развернутой форме записываются в виде суммы ряда степеней основания 2 с коэффициентами, в качестве которых выступают цифры 0 или 1.

В общем случае в двоичной системе запись числа А₂, которое содержит n целых разрядов числа и m дробных разрядов числа, производится следующим образом: .

Возможно использование множества позиционных систем счисления, основание которых равно или больше 2. В системах счисления с основанием q (q-ичная система счисления) числа в развернутой форме записываются в виде суммы ряда степеней основания q с коэффициентами, в качестве которых выступают цифры 0, 1, q–1.

Преобразование чисел, представленных в двоичной, восьмеричной и шестнадцатеричной системах счисления, в десятичную выполнить довольно легко. Для этого необходимо записать число в развернутой форме и вычислить его значение.

Перевод чисел из десятичной системы в двоичную, восьмеричную и шестнадцатеричную более сложен и может осуществляться различными способами. Алгоритм перевода целого десятичного числа в двоичное будет следующим:

1. Последовательно выполнять деление исходного целого десятичного числа и получаемых целых частных на основание системы (на 2) до тех пор, пока не получим частное меньше делителя, т.е. меньше 2.

2. Получить искомое двоичное число, для чего записать полученные остатки в обратной последовательности.

Алгоритм перевода десятичной дроби в двоичную будет следующим:

1. Последовательно выполнять умножение исходной десятичной дроби и получаемых дробей на основание системы (на 2) до тех пор, пока не получим нулевую дробную часть или не будет достигнута требуемая точность вычислений.

2. Получить искомую двоичную дробь, записав полученные целые части произведения в прямой последовательности.

Перевод чисел, содержащих и целую и дробную часть, производится в два этапа. Отдельно переводится по соответствующему алгоритму целая часть и отдельно – дробная. В итоговой записи полученного числа целая часть от дробной отделяется запятой.

Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:

32 = 2 I , откуда I = 5 битов.

Вопросы для размышления

Алфавит - множество символов, используемых при записи текста.

Мощность (размер) алфавита - полное количество символов в алфавите.

Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и отмеченных дополнительных символов равна 54.
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. В действительности это не совсем так, но для упрощения примем такое предположение. В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле N = 2 I (см. содержательный подход) каждый такой символ несет I бит информации, которое можно определить из решения уравнения: 2 I = 54. Получаем: I = 5.755 бит - такое количество информации несет один символ в русском тексте.

Таким образом, алфавитный подход к измерению информации можно изобразить в виде таблицы:

Для измерения больших объемов информации используются следующие единицы:

Алфавитный подход к определению количества информации РЕШЕНИЕ ЗАДАЧ

При хранении и передаче информации с помощью технических устройств информацию следует рассматривать как последовательность символов - знаков (букв, цифр, кодов цветов точек изображения и т.д.).

Читайте также: