Формула хартли измерения количества информации закон аддитивности информации кратко

Обновлено: 05.07.2024

Формула Хартли: I = log₂N

при бросании монеты: "выпала решка", "выпал орел";

на странице книги: "количество букв чётное", "количество букв нечётное".

Легко заметить, что если вероятности p₁, . p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8 ).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

Что можно делать с информацией?

создавать; передавать; воспринимать; иcпользовать; запоминать; принимать; копировать;

формализовать; распространять; преобразовывать; комбинировать; обрабатывать; делить на части; упрощать;

собирать; хранить; искать; измерять; разрушать; и др.

Все эти процессы, связанные с определенными операциями над информацией, называются информационными процессами.

Информация достоверна, если она отражает истинное положение дел. Недостоверная информация может привести к неправильному пониманию или принятию неправильных решений.

Достоверная информация со временем может стать недостоверной, так как она обладает свойством устаревать, то есть перестаёт отражать истинное положение дел.

Информация полна, если её достаточно для понимания и принятия решений. Как неполная, так и избыточная информация сдерживает принятие решений или может повлечь ошибки.

Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т.п.

Ценность информации зависит от того, насколько она важна для решения задачи, а также от того, насколько в дальнейшем она найдёт применение в каких-либо видах деятельности человека.

Только своевременно полученная информация может принести ожидаемую пользу. Одинаково нежелательны как преждевременная подача информации (когда она ещё не может быть усвоена), так и её задержка.

Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной.

Информация становится понятной, если она выражена языком, на котором говорят те, кому предназначена эта информация.

Информация должна преподноситься в доступной (по уровню восприятия) форме. Поэтому одни и те же вопросы по разному излагаются в школьных учебниках и научных изданиях.

Информацию по одному и тому же вопросу можно изложить кратко (сжато, без несущественных деталей) или пространно (подробно, многословно). Краткость информации необходима в справочниках, энциклопедиях, учебниках, всевозможных инструкциях.

Обработка информации.

Обработка информации — получение одних информационных объектов из других информационных объектов путем выполнения некоторых алгоритмов.

Обработка является одной из основных операций, выполняемых над информацией, и главным средством увеличения объёма и разнообразия информации.

Средства обработки информации — это всевозможные устройства и системы, созданные человечеством, и в первую очередь, компьютер — универсальная машина для обработки информации.

Формула Хартли: I = log₂N

при бросании монеты: "выпала решка", "выпал орел";

на странице книги: "количество букв чётное", "количество букв нечётное".

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.

1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

Что можно делать с информацией?

создавать; передавать; воспринимать; иcпользовать; запоминать; принимать; копировать;

формализовать; распространять; преобразовывать; комбинировать; обрабатывать; делить на части; упрощать;

собирать; хранить; искать; измерять; разрушать; и др.

Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной.

Обработка информации.

Рассмотрим эту меру подробнее.

С другой стороны у этой меры есть положительные моменты:

Основание логарифма можно принять различным. Это не принципиально, так как полученные меры будут отличаться только числовым коэффициентом. Но этим мерам даны различные названия:

1[дит] = 1 ⁄ lg 2 = 1 ⁄ 0.301 = 3.322[бит].

В дальнейшем, если это не оговорено, будем пользоваться битами и не писать основание логарифма.

Пример 1

Задумай целое число в диапазоне от 1 до 8. Задумал число три.

Вопрос 1: Число больше четырех? Ответ 1: нет.
Вопрос 2: Число меньше трех? Ответ 2: нет.
Вопрос 3: Вы задумали число четыре? Ответ 3: нет.

Пример 2

Какое количество информации Вы получили, если узнали на какое поле шахматной доски какая фигура и какого цвета поставлена? (Цветов 2; полей 64; разных фигур 6.)

Число различных исходов: N = 2 · 64 · 6.
Количество информации: I = log N = 1 + 6 + 2.58 = 9.58[бит].

Ответ: число в диапазоне 9.5÷9.6.

Пример 3

Какое количество информации содержится во фразе:

Решение: I = log N = log M n = 25 · log 37 = 25 · 5.21 = 130.25.

Далее вспомним формулу, которую называют главной формулой информатики:

Подставив в нее вместо N количество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:

5 бит x 39 символов = 195 бит

посчитать количество различных символов.
подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
посчитать общее количество символов и умножить это число на вес одного символа.

Количество информации в предложении информация сведения подлежащие передаче равно

1.2. Формула Хартли измерения количества информации. Закон аддитивности информации

Как уже упоминалось выше, в качестве основной единицы измерения информации мы будем использовать бит. Соответственно, с точки зрения алфавитного подхода мы будем кодировать информацию при помощи нулей и единиц (двоичных знаков).

Поставим себе одну из наиболее часто встречающихся задач в теории информации. Пусть у нас есть `N` возможных равновероятных вариантов исходов некоторого события. Какое количество информации нам нужно получить, чтобы оставить только один вариант?

Например, пусть мы знаем, что некоторая интересная для нас книга находится на одной из полок нашего книжного шкафа, в котором `8` полок. Какое количество информации нам нужно получить, чтобы однозначно узнать полку, на которой находится книга?

Решим эту задачу с точки зрения содержательного и алфавитного подходов. Поскольку изначально в шкафу было `8` полок, а в итоге мы выберем одну, следовательно, неопределённость знания о местоположении книги уменьшится в `8` раз. Мы говорили, что один бит – это количество информации, уменьшающее неопределённость знания в `2` раза. Следовательно, мы должны получить `3` бита информации.

Прежде чем продолжить рассмотрение поставленной общей задачи введём важное математическое определение.

Назовём логарифмом числа `N` по основанию `a` такое число `X`, что Обозначение:

На параметры логарифма налагаются некоторые ограничения. Число `N` обязательно должно быть строго больше `0`. Число `a` (основание логарифма) должно быть также строго больше нуля и при этом не равняться единице (ибо при возведении единицы в любую степень получается единица).

Теперь вернёмся к нашей задаче. Итак, какое же количество информации нам нужно получить, чтобы выбрать один исход из `N` равновероятных? Ответ на этот вопрос даёт формула Хартли: `H=log_aN`, где `N` – это количество исходов, а `H` – количество информации, которое нужно получить для однозначного выбора `1` исхода. Основание логарифма обозначает единицу измерения количества информации. То есть если мы будем измерять количество информации в битах, то логарифм нужно брать по основанию `2`, а если основной единицей измерения станет трит, то, соответственно, логарифм берётся по основанию `3`.

Рассмотрим несколько примеров применения формулы Хартли.

Имеется `27` монет, одна из которых фальшивая и легче всех остальных. Сколько потребуется взвешиваний на двухчашечных весах, чтобы однозначно найти фальшивую монету?

В этой задаче неудобно использовать бит в качестве основной единицы измерения информации. Двухчашечные весы могут принимать три положения: левая чаша перевесила, значит, фальшивая монета находится в правой; правая чаша перевесила, значит, монета находится в левой; или же весы оказались в равновесии, что означает отсутствие фальшивой монеты на весах. Таким образом, одно взвешивание может уменьшить неопределённость в три раза, следовательно, будем использовать в качестве основной единицы измерения количес-тва информации трит.

По формуле Хартли `H = log _3 27 = 3` трита. Таким образом, мы видим, что для того чтобы найти фальшивую монету среди остальных, нам потребуется три взвешивания.

Логарифмы обладают очень важным свойством: `log_a(X*Y)=log_aX+log_aY`.

Если переформулировать это свойство в терминах количества информации, то мы получим закон аддитивности информации: Коли-чество информации`H(x_1, x_2)`, необходимое для установления пары `(x_1, x_2)`, равно сумме количеств информации `H(x_1)` и `H(x_2)`, необходимых для независимого установления элементов `x_1` и `x_2`:

Если в результате вычислений по формуле Хартли получилось нецелое число, а в задаче требуется указать целое число бит, то результат следует округлить в большую сторону.

Количество информации

Передача данных

I=v*t

I — объем передаваемого файла;

v — скорость передачи данных;

t — время передачи файла.

Количество информации

N=2 i

I=K*i

N- количество символов в алфавите

i — вес одного символа

Информационный объём растрового графического изображения

N=2 i , I=K*i, где:

I – это информационный объём растрового графического изображения, измеряющийся в байтах, килобайтах, мегабайтах;

K – количество пикселей (точек) в изображении, определяющееся разрешающей способностью носителя информации (экрана монитора, сканера, принтера);

i – глубина цвета, которая измеряется в битах на один пиксель.Глубина цвета задаётся количеством битов, используемым для кодирования цвета точки.

N – это количество цветов в палитре.

Информационный объём звукового файла

Временная дискретизация – процесс, при котором, во время кодирования непрерывного звукового сигнала, звуковая волна разбивается на отдельные маленькие временные участки, причем для каждого такого участка устанавливается определенная величина амплитуды. Чем больше амплитуда сигнала, тем громче звук.

Глубина звука (глубина кодирования) — количество бит на кодировку звука (i).

Количество различных уровней громкости рассчитываем по формуле N= 2 I , где I – глубина звука.

Частота дискретизации – количество измерений уровня входного сигнала в единицу времени (за 1 сек). Чем больше частота дискретизации, тем точнее процедура двоичного кодирования. Частота измеряется в герцах (Гц).

Качество двоичного кодирования – величина, которая определяется глубиной кодирования и частотой дискретизации.

Разрядность регистра — число бит в регистре аудио адаптера. Чем больше разрядность, тем меньше погрешность каждого отдельного преобразования величины электрического тока в число и обратно. Если разрядность равна I, то при измерении входного сигнала может быть получено 2 I =N различных значений.

Информация, данные, сигналы. Источники информации и ее носители. Количество информации и энтропия. Формулы Хартли и Шеннона.

Информация будем определять через ее основные свойства (т.к. наряду с материей и энергией она является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена):

Читайте также: