Комбинаторный подход к измерению количества информации кратко
Обновлено: 05.07.2024
Сайт учителя информатики. Технологические карты уроков, Подготовка к ОГЭ и ЕГЭ, полезный материал и многое другое.
§ 2. Подходы к измерению информации
Информатика. 10 класса. Босова Л.Л. Оглавление
Информация и её свойства
Информация и её свойства являются объектом исследования целого ряда научных дисциплин, таких как:
? теория информации (математическая теория систем передачи информации);
? кибернетика (наука об общих закономерностях процессов управления и передачи информации в машинах, живых организмах и обществе);
? информатика (изучение процессов сбора, преобразования, хранения, защиты, поиска и передачи всех видов информации и средств их автоматизированной обработки);
? семиотика (наука о знаках и знаковых системах);
? теория массовой коммуникации (исследование средств массовой информации и их влияния на общество) и др.
Рассмотрим более детально подходы к определению понятия информации, важные с позиций её измерения:
1) определение К. Шеннона, применяемое в математической теории информации;
2) определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров.
2.1. Содержательный подход к измерению информации
Информация — это снятая неопределённость. Величина неопределённости некоторого события — это количество возможных результатов (исходов) данного события.
Такой подход к измерению информации называют содержательным.
Итак, количество возможных результатов (исходов) события, состоящего в том, что книга поставлена в шкаф, равно восьми: 1, 2, 3, 4, 5, 6, 7 и 8.
Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Этот метод широко используется в компьютерных науках.
1) обойтись минимальным количеством вопросов;
1) Да — Да — Да — Да;
2) Нет — Нет — Нет — Нет;
3) Да — Нет — Да — Нет.
При N, равном целой степени двойки (2, 4, 8, 16, 32 и т. д.), это уравнение легко решается в уме. Решать такие уравнения при других N вы научитесь чуть позже, в курсе математики 11 класса.
2.2. Алфавитный подход к измерению информации
Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от её содержания и рассматривать информацию как последовательность символов (букв, цифр, кодов цвета точек изображения и т. д.) некоторого алфавита.
Информация — последовательность символов (букв, цифр, кодов цвета точек изображения и т. д.) некоторого алфавита.
Минимальная мощность алфавита (количество входящих в него символов), пригодного для кодирования информации, равна 2. Такой алфавит называется двоичным. Один символ двоичного алфавита несёт 1 бит информации.
Андрей Николаевич Колмогоров (1903-1987) — один из крупнейших математиков XX века. Им получены основополагающие результаты в математической логике, теории сложности алгоритмов, теории информации, теории множеств и ряде других областей математики и её приложений.
В отличие от определения количества информации по Колмогорову в определении информационного объёма не требуется, чтобы число двоичных символов было минимально возможным. При оптимальном кодировании понятия количества информации и информационного объёма совпадают.
Из курса информатики основной школы вы знаете, что двоичные коды бывают равномерные и неравномерные. Равномерные коды в кодовых комбинациях содержат одинаковое число символов, неравномерные — разное.
Первый равномерный двоичный код был изобретён французом Жаном Морисом Бодо в 1870 году. В коде Бодо используются сигналы двух видов, имеющие одинаковую длительность и абсолютную величину, но разную полярность. Длина кодов всех символов алфавита равна пяти (рис. 1.7).
Рис. 1.7. Фрагмент кодовой таблицы кода Бодо
Всего с помощью кода Бодо можно составить 2 5 = 32 комбинации.
Пример 5. Слово WORD, закодированное с помощью кода Бодо, будет выглядеть так:
Пример 6. Для двоичного представления текстов в компьютере чаще всего используется равномерный восьмиразрядный код. С его помощью можно закодировать алфавит из 256 символов (2 8 = 256). Фрагмент кодовой таблицы ASCII представлен на рисунке 1.8.
Рис. 1.8. Фрагмент кодовой таблицы ASCII
Слово WORD, закодированное с помощью таблицы ASCII:
Из курса информатики основной школы вам известно, что с помощью i-разрядного двоичного кода можно закодировать алфавит, мощность N которого определяется из соотношения:
2 i = N.
Иными словами, зная мощность используемого алфавита, всегда можно вычислить информационный вес символа — минимально возможное количество бит, требуемое для кодирования символов этого алфавита. При этом информационный вес символа должен быть выражен целым числом.
Соотношение для определения информационного веса символа алфавита можно получить и из следующих соображений.
1) определить мощность используемого алфавита N;
2) из соотношения 2 i = N определить i — информационный вес символа алфавита в битах (длину двоичного кода символа из используемого алфавита мощности N);
I = К * i,
где I — информационный вес символа в битах, связанный с мощностью используемого алфавита N соотношением:
2 i = N.
Пример 7. Для регистрации на некотором сайте пользователю надо придумать пароль, состоящий из 10 символов. В качестве символов можно использовать десятичные цифры и шесть первых букв латинского алфавита, причём буквы используются только заглавные. Пароли кодируются посимвольно. Все символы кодируются одинаковым и минимально возможным количеством бит. Для хранения сведений о каждом пользователе в системе отведено одинаковое и минимально возможное целое число байт.
Необходимо выяснить, какой объём памяти потребуется для хранения 100 паролей.
2.3. Единицы измерения информации
Итак, в двоичном коде один двоичный разряд несёт 1 бит информации. 8 бит образуют один байт. Помимо бита и байта, для измерения информации используются более крупные единицы:
1 Кбайт (килобайт) = 2 10 байт;
1 Мбайт (мегабайт) = 2 10 Кбайт = 2 20 байт;
1 Гбайт (гигабайт) = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт;
1 Тбайт (терабайт) = 2 10 Гбайт = 2 20 Мбайт = 2 30 Кбайт = 2 40 байт;
1 Пбайт (петабайт) = 2 10 Тбайт = 2 20 Гбайт = 2 30 Мбайт = 2 40 Кбайт = 2 50 байт.
Это произошло потому, что 2 10 = 1024 ? 1000 = 10 3 . Поэтому 1024 байта и стали называть килобайтом, 2 10 килобайта стали называть мегабайтом и т. д.
Чтобы избежать путаницы с различным использованием одних и тех же приставок, в 1999 г. Международная электротехническая комиссия ввела новый стандарт наименования двоичных приставок. Согласно этому стандарту, 1 килобайт равняется 1000 байт, а величина 1024 байта получила новое название — 1 кибибайт (Кибайт).
Пример 8. При регистрации в компьютерной системе каждому пользователю выдаётся пароль длиной в 12 символов, образованный из десятичных цифр и первых шести букв английского алфавита, причём буквы могут использоваться как строчные, так и прописные — соответствующие символы считаются разными. Пароли кодируются посимвольно. Все символы кодируются одинаковым и минимально возможным количеством бит. Для хранения сведений о каждом пользователе в системе отведено одинаковое и минимально возможное целое число байт.
Кроме собственно пароля для каждого пользователя в системе хранятся дополнительные сведения, для которых отведено 12 байт. На какое максимальное количество пользователей рассчитана система, если для хранения сведений о пользователях в ней отведено 200 Кбайт?
Прежде всего, выясним мощность алфавита, используемого для записи паролей: N — 6 (буквы прописные) + 6 (буквы строчные) + 10 (десятичные цифры) = 22 символа.
Для кодирования одного из 22 символов требуется 5 бит памяти (4 бита позволят закодировать всего 2 4 = 16 символов, 5 бит позволят закодировать уже 2 5 = 32 символа); 5 — минимально возможное количество бит для кодирования 22 разных символов алфавита, используемого для записи паролей.
Для хранения всех 12 символов пароля требуется 12 • 5 = 60 бит. Из условия следует, что пароль должен занимать целое число байт; т. к. 60 не кратно восьми, возьмём ближайшее большее значение, которое кратно восьми: 64 = 8 • 8. Таким образом, один пароль занимает 8 байт.
Информация о пользователе занимает 20 байт, т. к. содержит не только пароль (8 байт), но и дополнительные сведения (12 байт).
САМОЕ ГЛАВНОЕ
I = K * i, где i — информационный вес символа в битах, связанный с мощностью используемого алфавита N соотношением 2 i = N. Единицы измерения информации:
1 Кбайт (килобайт) = 2 10 байт;
1 Мбайт (мегабайт) = 2 10 Кбайт = 2 20 байт;
1 Гбайт (гигабайт) = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт;
1 Тбайт (терабайт) = 2 10 Гбайт = 2 20 Мбайт = 2 30 Кбайт = 2 40 байт;
1 Пбайт (петабайт) = 2 10 Тбайт = 2 20 Гбайт = 2 30 Мбайт = 2 40 Кбайт = 2 50 байт.
Вопросы и задания
1. Что такое неопределённость знания о результате какого-либо события? Приведите пример.
2. В чём состоит суть содержательного подхода к определению количества информации? Что такое бит с точки зрения содержательного подхода?
3. Паролем для приложения служит трёхзначное число в шестнадцатеричной системе счисления. Возможные варианты пароля:
Ответ на какой вопрос (см. ниже) содержит 1 бит информации?
1) Это число записано в двоичной системе счисления?
2) Это число записано в четверичной системе счисления?
3) Это число может быть записано в восьмеричной системе счисления?
4) Это число может быть записано в десятичной системе счисления?
5) Это число может быть записано в шестнадцатеричной системе счисления?
4. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Каковы наибольшее и наименьшее числа этого диапазона?
5. Какое максимальное количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?
6. В чём состоит суть алфавитного подхода к измерению информации? Что такое бит с точки зрения алфавитного подхода?
8. Какие единицы используются для измерения объёма информации, хранящейся на компьютере?
13. При регистрации в компьютерной системе каждому пользователю выдаётся пароль, состоящий из 6 символов и содержащий только символы из шестибуквенного набора А, В, С, D, Е, F. Для хранения сведений о каждом пользователе отведено одинаковое и минимально возможное целое число байт. При этом используют посимвольное кодирование паролей и все символы кодируются одинаковым и минимально возможным количеством бит. Кроме собственно пароля для каждого пользователя в системе хранятся дополнительные сведения, занимающие 15 байт. Определите объём памяти в байтах, необходимый для хранения сведений о 120 пользователях.
Вяткин В.Б.
ЗАДАЧА ОЦЕНКИ НЕГЭНТРОПИИ ОТРАЖЕНИЯ СИСТЕМНЫХ ОБЪЕКТОВ
И ТРАДИЦИОННЫЕ ПОДХОДЫ К КОЛИЧЕСТВЕННОМУ
ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ
Комбинаторный подход к количественному
определению информации
Далее рассуждения выглядели следующим образом: "будем произвольно считать, что количество информации пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных последовательностей соответствовали равные количества информации" [ 23 , с. 11]. То есть, обозначая количество информации через H , а коэффициент пропорциональности через K , имеем:
Выдвигая условие: "если число выборов и в двух системах таковы, что возможных последовательностей в обеих системах одинаково, то одинаково и количество информации" [ 23 , с.11] , Р. Хартли определил K следующим образом:
Последнее выражение справедливо для всех значений S , если S и K связаны между собой соотношением:
где произвольно и одинаково для любых систем связи.
Поскольку произвольно, то опуская его и подставляя (3) в (2), Хартли получил, что
Основание логарифма в выражении (4) произвольно и определяется выбором единицы измерения информации. (В теории информации принято использовать логарифм по основанию два, а соответствующую единицу называть битом .)
Наиболее широкую свою известность выражение (4) получило при и двоичном основании логарифма:
Формула (5) в научной литературе часто именуется как "двоичный логарифм Хартли" и в настоящее время широко используется в различных областях знания для информационно-количественной характеристики произвольных конечных множеств. При этом первоначальное содержание S трансформировалось и приобрело универсальный характер. Например, как отмечает А.Д. Урсул, количество элементов в таких множествах "может быть и количеством случайных событий, и количеством возможностей, и наличным количеством каких-то предметов и т.д." [ 21 , с.37].
Необходимо также отметить, что двоичный логарифм Хартли (5) весьма часто интерпретируется как энтропия множества равновероятных возможностей, которая снимается в виде информации при осуществлении одной из них. Более того, рассмотрение комбинаторного подхода к определению количества информации иногда начинается именно с определения Н как энтропии. (Так, например, делал академик А.Н. Колмогоров [ 12 ], что будет показано ниже.)
Так как в дальнейшем изложении мы будем пытаться решать проблему негэнтропийной оценки отражения системных объектов с помощью различных определений количества информации, то целесообразно для повышения объективности общего заключения отметить соответствующие взгляды известного американского физика Л. Бриллюэна, основанные на комбинаторном подходе.
Разрабатывая 1950-х годах одну из ветвей теории информации, ориентированную на анализ физических экспериментов, научных теорий, законов и т.п., Л. Бриллюэн дал по его утверждению "точное научное определение слова "информация" [ 2, 3 ]. Рассуждения при этом сводились к следующему. – "Рассмотрим ситуацию, в которой могут произойти различных событий, но при условии, что эти возможных исходов считаются априори равновероятными. Это есть начальное условие, когда у нас нет специальной информации… . Но могут создаться такие обстоятельства, когда мы будем располагать более точными определениями… и когда, таким образом, число равновероятных исходов уменьшится до " [ 3 , с. 31]. Тогда утверждается, что информация , полученная при данных обстоятельствах выражается формулой:
где K есть постоянная, зависящая от выбора единиц.
Применительно к решению технических задач связи считается, что
и выражение (6) приобретает вид:
В том случае , когда исследуются физические проблемы, в качестве K рекомендуется брать постоянную Л. Больцмана. Используя это применительно к термодинамическим системам, Л. Бриллюэн показал, что
где: - энтропия системы в общем случае, - энтропия системы в особом случае.
На основании выражения (8) был сформулирован отмеченный выше "негэнтропийный принцип информации", посредством которого Л. Бриллюэн переводил свой вариант теории информации в разряд физических теорий. Таким образом, количество информации во взглядах Л. Бриллюэна представляет собой меру уменьшения неопределенности состояния чего-либо (физической системы) в результате получения соответствующих дополнительных сведений.
Формулы (4), (5) и (6), (7), (8) для расчета комбинаторного количества информации были получены соответственно в 1928 и 1956 годах, а их вывод имел под собой интуитивно-физическую основу. В настоящее время, когда математический аппарат теории информации является развитым во многих отношениях, характеристику комбинаторного подхода принято давать в аксиоматической форме. (Здесь мы имеем типичный случай того, что, когда интуитивная теория становится достаточно развитой, то начинается ее аксиоматизация [ 19 ].) Дадим такую характеристику, придерживаясь изложения комбинаторного подхода, данного академиком А.Н. Колмогоровым, что позволит нам иметь более строгое представление как об информационных мерах Р. Хартли и Л . Бриллюэна, так и о комбинаторном подходе в целом.
"Пусть переменное х способно принимать значения, принадлежащие конечному множеству Х, которое состоит из N элементов. Говорят, что "энтропия" переменного х равна
Указывая определенное значение переменного х, мы "снимаем" эту энтропию, сообщая "информацию" [ 12 , с. 213]:
При наличии переменных , которые могут принимать соответствующие множества значений , содержащих элементов, имеем, что
В том случае, когда ставится задача определения количества информации, содержащейся в конкретном значении х относительно переменной величины y , решение выглядит следующим образом.
Из всех пар х и у, которые принадлежат прямому произведению множеств их значений ( XY ), выделяется только множество возможных пар U . По множеству U при любом определяется соответствующее множество значений у, для которых справедливо . При этом говорится, что условная энтропия у имеет вид:
где - число элементов в .
На основе (9) и (11) решение задачи, то есть количество информации, содержащейся в относительно у выражается формулой:
причем и соответственно .
Нетрудно видеть, что в приведенной строгой характеристике комбинаторного подхода выражение (10) представляет собой двоичный логарифм Р.Хартли, а количество информации по Л.Бриллюэну является конкретизацией формулы (12) в частном случае.
Практическое определение количества информации по формуле (12) А.Н. Колмогоров показал на примере данных нижеследующей таблицы.
. Таблица 1.
Возможные и невозможные сочетания значений х и у
В приведенной таблице знаком "+" отмечены возможные сочетания значений х и у, знаком " - " невозможные их сочетания. Использование формулы (12) дает, что:
Заканчивая общее описание комбинаторного подхода, отметим что его основным достоинством является логическая независимость от математической вероятности, следствием чего является детерминированное (невероятностное) определение количества информации, содержащейся в конечных множествах каких-либо элементов. (По этому поводу А.Н. Колмогоров говорил (имея в виду теорию информации в целом), что "представляется важной задача освобождения всюду, где это возможно, от излишних вероятностных допущений" [ 12 , с. 252].)
Рассматривая возможность количественного определения негэнтропии отражения с помощью комбинаторного подхода, прежде всего, отметим, что информация , отражаемая каждым из системных объектов , в общем случае выражается через двоичный логарифм Хартли:
Из анализа выражений (13) следует, что информация, получаемая через отражающий системный объект В с помощью информационной меры Р.Хартли, ничего не говорит об отражаемом системном объекте А, как о целостном образовании. Единственное, что мы можем сказать при этом об объекте А и то, только в том случае, когда он закрыт (рис. 1 в,д), так это то, что .
Используя формулу Л. Бриллюэна (7), которая может быть применена только в закрытом случае, мы получим, что
Очевидно, что выражение (14) не может быть использовано в качестве оценки негэнтропии отражения, поскольку с позиций такой оценки, получаемые с его помощью результаты, будут являться содержательным нонсенсом. Сущность нонсенса сводится к тому, что чем сильнее будут взаимосвязаны отражающий и отражаемый объекты, тем меньше информации мы будем получать о последнем как едином целом. Например, если 80 % территории рудного поля (системный объект А) занимают магматические породы (системный объект ), а 20% - осадочные породы (системный объект ), то согласно формуле (14) осадочные породы будут содержать о рудном поле в целом больше информации, чем магматические породы (естественно, что при этом территория рудного поля разбивается на элементарные ячейки).
Формула относительной информации (12), в свою очередь, в рассматриваемом случае дает, что
Нетрудно видеть, что выражение (15) является инвариантным относительно открытости закрытости отражаемого объекта и по существу тождественно выражению (14), негативность которого в отношении негэнтропийной оценки только что была отмечена.
Таким образом, мы получили, что чисто комбинаторный подход к определению количества информации, в традиционном своем представлении, не позволяет количественно охарактеризовать негэнтропию отражения друг через друга двух системных объектов.
Впрочем, я не хочу входить здесь в детали этой специальной задачи. Мне важно лишь показать, что математическая проблематика, возникающая на почве чисто комбинаторного подхода к измерению количества информации, не ограничивается тривиальностями.
Естественно определить условную энтропию равенством
(где N(Yx) - число элементов в множестве Yx), а информацию в x относительно y−формулой
Например, в случае, изображенном в таблице имеем
2 Вероятностный подход
По-прежнему HW(y|x) и IW(x:y) являются функциями от x. Имеют место неравенства
переходящие в равенства при равномерности соответсвующих распределений (на X и Yx). Величины IW(x:y) и I(x:y) не связаны неравенством определенного знака. Как и в §1,
Но отличие заключается в том, что можно образовать математические ожидания MHW(y|x), MIW(x:y), а величина
что понимается в том смысле, что IA(x:y) не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования. Как уже говорилось, вся теория рассчитана на применение к большим количествам информации, по сравнению с которым |C| будет пренебрежимо мал.
4 Заключительные замечания
Обозначим через Iколичество информации, n – число состояний физической системы, тогда I = I(n) – функция количества информации. И повторим рассуждения Р.Хартли, позволившие ему получить меру количества информации. Предварительно примем, что информация – это устраненная неопределенность.
. (1.1)
Аксиомы теории информации
1.Мера неопределенности есть непрерывная функция вероятности исходов некоторого опыта.
2.Если исходы опыта равновероятны, то мера неопределенности – монотонно возрастающая функция от числа исходов.
3.Если неопределенность раскрывается по этапам, то полная неопределенность равна взвешенной сумме неопределенностей, полученных на каждом этапе.
Вероятностный подход к вычислению количества
Информации. Формула Шеннона. Понятие об энтропии
Пример.Рассмотрим кодирование оптимальным неравномерным кодом дискретной системы с восемью не равновероятными состояниями.Такой пример нам нужен для дальнейшего объяснения подхода Шеннона к определению количества информации.
Рассмотрим систему с восемью состояниями с вероятностями состояний, равными целочисленным степеням двойки.
Таблица кодирования состояний такой системы неравномерным оптимальным кодом (его еще называют кодом Шеннона-Фано) представлена ниже.
| xi | pi | Двоичные знаки | Кодовое слово |
| ¼ | 2 -2 | ||
| ¼ | 2 -2 | ||
| 1/8 | 2 -3 | ||
| 1/8 | 2 -3 | ||
| 1/16 | 2 -4 | ||
| 1/16 | 2 -4 | ||
| 1/16 | 2 -4 | ||
| 1/16 | 2 -4 |
1) совокупность символов (алфавит или состояния системы), расположенных предварительно в порядке убывания вероятностей появления символов, разбивают на две группы таким образом, чтобы сумма вероятностей появления символов, входящих в группы, была примерно одинаковой;
2) в свою очередь каждая из групп разбивается на две по такому же принципу;
3) операцию продолжают до тех пор, пока в каждой группе не останется по одному символу;
4) каждый символ обозначается двоичным числом: символам, которые находятся выше линии разбиения, присваивают 1, остальным – 0 (или наоборот),– последовательные цифры которого показывают, в какую группу попал данный символ при очередном разбиении.
Обратите внимание на третий столбец, он вспомогательный, но очень важный для дальнейших выводов. Показатель степени соответствует числу знаков (количеству разрядов) в кодовом слове. То есть, как видим из таблицы, состояние источника с вероятностью вида 2 - k имеет кодовое слово с числом знаков k.
Вывод формулы Шеннона
Рассмотрим ряд чисел , где i = 1. n, а mi – целые положительные числа, такие что .
Для кодового слова длиной mi меру неопределенности закодированного состояния можно представить в виде:
.
Для примера, приведенного в таблице, мера неопределенности будет равна:
– среднее количество знаков в кодовом слове (математическое ожидание).
Если взять не двоичную систему счисления, а систему счисления с основанием a, то для ряда чисел , закодированных кодовыми словами длиной mi меру неопределенности закодированного состояния можно представить в виде:
.
Если опять обратимся к таблице, то увидим, что – это вероятность состояния, закодированного кодовым словом длиной mi, то есть pi. При этом .
Поэтому, выражение для неопределенности (1.1) Шеннон записал, объединив формулу для любой системы счисления и получил:
,
То есть, в самом общем случае, на вероятностном языке дляопыта стаблицейвероятностей
| исходы опыта | А1 | А2 | А3 | … | Аk | |
| вероятности |  |  |  | … |  | (1.2) |
и называется энтропией опыта (или дискретного распределения (1.2). Напомним, что .
Итак, энтропия – это среднее количество информации, приходящееся на один исход опыта (для дискретных систем).
Аналогичная (1.3) формула имеет место и при в предположении сходимости соответствующего ряда.
Наряду с энтропией дискретного распределения рассматривается также и энтропия непрерывной случайной величины, которая определяется формулой
, (1.4)
где – плотность распределения вероятностей. В предположении сходимости интеграл (1.4) является мерой неопределенности непрерывной случайной величины.
Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое применение в исследованиях и физических, и биологических, и социальных систем (и даже астрологии) .
В социологии количество получаемой объектом информации определяется как мера устранения неопределенности по выбору действий ведущих к достижению его целей.
В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.
В математической теории информации важно уметь прогнозировать исходы различных опытов, т.е. численно оценивать степень неопределенности, заложенную в них, чтобы иметь возможность сравнить их с этой точки зрения.
Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь между количеством информации и физической энтропии, причем не формальная, а содержательная связь. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятностную функцию энтропии.
Глава 1. Энтропия
1.1. Комбинаторный подход к вычислению количества информации. Формула Хартли
Обозначим через I количество информации, n – число состояний физической системы, тогда I = I (n) – функция количества информации. И повторим рассуждения Р.Хартли, позволившие ему получить меру количества информации. Предварительно примем, что информация – это устраненная неопределенность.
. (1.1)
Читайте также: