Качество и количество информации реферат

Обновлено: 02.07.2024

При организации сбора и регистрации данных по принципу последовательных решений могут применяться различные виды информационной технологии:
• сбор и регистрация данных непосредственно в процессе производства (на местах возникновения затрат) в форме единоличного документа и использование центральной ЭВМ для агрегирования данных; обработка данных в режиме диалога для расчета показателей на терминале;
• получение свободного документа, использование машиносчитывающего носителя информации (например, дискеты), обработка данных по производственному отделению на персональных компьютерах.

Содержание

Виды информационных технологий 3
Количество и качество информации 3
Количество информации 4
Качество информации 5
Список использованной литературы 7

Работа состоит из 1 файл

Министерство образования и науки Российской Федерации ФГБОУ ВПО.docx

Кафедра психолого-педагогического образования

Содержание.

Виды информационных технологий 3

Количество и качество информации 3

Количество информации 4

Качество информации 5

Список использованной литературы 7

Виды информационных технологий

При организации сбора и регистрации данных по принципу последовательных решений могут применяться различные виды информационной технологии:

· сбор и регистрация данных непосредственно в процессе производства (на местах возникновения затрат) в форме единоличного документа и использование центральной ЭВМ для агрегирования данных; обработка данных в режиме диалога для расчета показателей на терминале;

· получение свободного документа, использование машиносчитывающего носителя информации (например, дискеты), обработка данных по производственному отделению на персональных компьютерах.

Решение вопросов внедрения новых технологий требует комплексного, разностороннего подхода. Важно не только исследовать технико-экономические и организационные аспекты проблемы, но и учитывать влияние внедрения новых технологий на положение работника в производственном процессе. В частности, требуется анализ трудовых функций работника, его образа действия, навыков, способностей, условий труда. Представляют большую трудность оценить трудовые и социально-экономические факторы.

Технология информационной деятельности предполагает: создание системы записей (цифровой и текстовой информации) с применением средств компьютерной техники; использование форм как носителей информации; формирование базы данных; создание пакетов прикладных программ.

Количество и качество информации

В экономике возникают, распространяются и развиваются три основных информационных потока:

· информация, которая существует в виде овеществленных знаний в наукоемкой продукции.;

· информация, отражающей человеческие профессиональные знания, частично фиксируемые в виде изобретений, патентов, лицензий, но главным образом в виде производственных навыков и приемов.;

· информация по искусству, методам и технологии практического решения задач управления современным производством, по вопросам завоевания рынков сбыта при производстве даже высококачественной продукции.

Все эти потоки информации содержатся в результате интеллектуальной составляющей труда наиболее квалифицированной и творческой части работающих. Особенностью и важнейшей чертой современности является то, что свой вклад в информационную составляющую вносят все профессиональные группы работающих – от рабочих до управляющих высших рангов. Разрыв любого звена в цепи производственных отношений производителей приводит к потере информации и, как следствие, к ухудшению качества продукции.

Философы определяют знание как проверенный практикой опыт познания окружающего мира, отражение действительности в мышлении человека. Знание – то, что принадлежит человеку.

Одна единица информации – байт – состоит из восьми двоичных единиц, иначе называемых битами. Поэтому практически в технических информационных системах используются два равноправных эталона количества информации – бит и байт.

Качество информации.

Этот показатель является важным, но неоднозначным. Одна и та же информация имеет различные значения (ценность) для одного и того же человека, но в разное время или для нескольких людей. Вообще информация со временем не сохраняет, как правило, свою ценность, хотя есть знания как бы постоянной значимости (например, фундаментальные законы природы, дни рождения…).

Приняты три подхода (критерия) к оценке качества информации: по снижению состояния неопределенности, по достижению цели и по приращению тезауруса.

a) При полном несовпадении – не понимается;

b) При полном совпадении – ничего к нему не добавляется и не рассматривается как информативное;

c) При частичном совпадении – обогащает тезаурус, добавляя новые понятия и связи.

Выделяя из общего потока актуально полезную информацию, способствующую принятию решений и достижению поставленных целей, посредством когнитивного (смыслового) фильтра специалиста, оценивающего информацию, предприниматель устанавливает границы возможностей по реализации своей предпринимательской идеи.

Сегодня в дополнение к высокой производительности машин электронное распространение знаний обеспечивает высочайшую гибкость, программную перестраиваемость производства, возможность эффективного изготовления малых серий и оперативного выполнения сложных индивидуальных заказов.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

2.Неопределенность, количество информации и энтропия

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: .

Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: .

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

Рис. 1. Поведение энтропии
для случая двух альтернатив.

На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p₀ =0, p₁ =1) и (p₀ =1, p₁ =0).

Рис. 2. Связь между энтропией и количеством информации.

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H_t + I_t = H.

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

3.Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: 0 , p₁ , …p_N _-1 >, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

(1)

Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Напомним, что такое логарифм.

Логарифм по основанию 2 называется двоичным:

Логарифм по основанию 10 –называется десятичным:

log₁₀ (100)=2 => 10 2 =100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p_i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма , поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.

интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины 0 , I_1, … I_N _-1 >.

Пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: ¾ - женщины, ¼ - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в таблице 1.

p_i	1/p_i	I_i =log₂ (1/p_i ), бит	p_i *log₂ (1/p_i ), бит
Ж	3/4	4/3	log₂ (4/3)=0,42	3/4 * 0,42=0,31
М	1/4	4/1	log₂ (4)=2	1/4 * 2=0,5
å	1	H=0,81 бит

Если же априори известно, что мужчин и женщин в учреждении поровну (два равновероятных варианта), то при расчете по той же формуле мы должны получить неопределенность в 1 бит. Проверка этого предположения проведена в таблице 2.

p_i	1/p_i	I_i =log₂ (1/p_i ), бит	p_i *log₂ (1/p_i ), бит
Ж	1/2	2	log₂ (2)=1	1/2 * 1=1/2
М	1/2	2	log₂ (2)=1	1/2 * 1=1/2
å	1	H=1 бит

4.Формула Хартли

Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Подставив в формулу (1) вместо p_i его (в равновероятном случае не зависящее от i) значение , получим:

таким образом, формула Хартли выглядит очень просто:

(2)

Из нее явно следует, что чем больше количество альтернатив (N), тем больше неопределенность (H). Эти величины связаны в формуле (2) не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам.

Энтропия будет являться целым числом лишь в том случае, если N является степенью числа 2, т.е. если N принадлежит ряду:

Рис. 3. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив).

Для решения обратных задач, когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще:

(3)

Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (3), как N=2 3 =8 этажей.

Если же вопрос стоит так: “в доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?”, нужно воспользоваться формулой (2): I=log₂ (8)=3 бита.

До сих пор были приведены формулы для расчета энтропии (неопределенности) H, указывая, что H в них можно заменять на I, потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

(4)

Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:

(5)

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если , то - неопределенности не изменилась, следовательно, информации получено не было.

Рассмотрим в качестве примера опыт с колодой из 36 карт.

Рис. 4. Иллюстрация к опыту с колодой из 36-ти карт.

Вариант A. “Это карта красной масти”.

I=log₂ (36/18)=log₂ (2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B. “Это карта пиковой масти”.

I=log₂ (36/9)=log₂ (4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log₂ (36)–log₂ (16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D. “Это одна карта из колоды".

Вариант D. “Это дама пик".

I=log₂ (36/1)=log₂ (36)=5,17 бит (неопределенность полностью снята).

Список использованной литературы

5. Петрович Н. Т. Люди и биты. Информационный взрыв: что он несет. М.: Знание, 1986.

информации. Информация - это отражение внешнего мира с помощью знаков или сигналов.

Понимая информацию как один из основных стратегических ресурсов, без которого

невозможна деловая, управленческая, вообще любая социа льно значимая деятельность,

необходимо уметь оценивать ее как с качественной, так и с количественной стороны. На этом

пути существуют бол ьшие проблемы из -за нематериальной природы этого ресурса и

субъективности восприятия конкретной информации различными индивидуумами

человеческого общества. С э той точки зрения классификация информации является в ажнейшим

средством создания сист ем хранения и поиска информации, без которых сегодня невозможно

эффективное функционирование информационного обеспечения управления.

Главной целью настоящей работы является рассмотрение классификации информации и

методов ее количественной оценки. Для этого нужно рассмотреть следующие задачи и вопросы.

Первой задачей является изучение общих понятий по данной теме. Рассмотрение конкретных

классификационных методов и методов количественной оценки информации – вторая задача.

осведомление, изложение. С позиц ии материалистической филос офии информация есть

это общенаучное понятие, включающее в себя обме н сведениями между людьми, обмен

сигналами между живой и неживой природой, людьми и устройствами.

Согласно федеральному закону «Об информации, информатизации и защите

объединяется в информаци онные системы – «орган изационно упорядоченные совокупност и

документов (массивов документов) и информационных технологий, в том числе с

использованием средств вычислительной техники и связи, реализующих информационные

Классификация – это «разделение множества объектов на подмножества по их сходству

закономерные связи между классами объектов с целью определения места объекта в системе,

которое указывает на его свойства. Под объектом понимается любой предмет, процесс, явление

материального или немат ериального свойства. Система класс ификации позволяет

сгруппировать объекты и выделить определенные классы, которые будут характеризоваться

рядом общих свойств. Классификация объектов – та процедура группировки на качественном

уровне, направленная на выделение однородных свойств.

Применительно к информации как к объекту классификации выделенные классы

называют информационными объектами. С этой точки зрения классификация информации

является важнейшим средством создания систем хранения и поиска информации, без которых

сегодня невозможно эффективное функц ионирование информационного обеспечения

управления. Классификация носит всеобщий характер вследствие той роли, которую она играет

как инструмент научного познания, прогнозирования и управления. Одновременно

классификация в ыполняет функцию объект ивного отражения и фиксации результат ов этого

познания. при этом характер классификационной схемы, состав признаков классификации и

глубина классификации определяет ся т еми практическими целями, для реализации которых

Костомаров М.Н. Классификация и кодирование документов и документной информации // Секретарское дело. –

Файлы: 1 файл

реферат по информатике.docx

Измерение информации

1.1 Измерение информации в технике

В технике информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, символов. В технике под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Пример: собака – 6 символов, dog – 3 символа.

Человеку привычно работать с символами, а компьютеру - с кодами. Каждый символ кодируется двоичным кодом, длиной в 8 знаков (восьмибитный код).

В вычислительной технике: бит (binary digit) - двоичный знак двоичного алфавита , минимальная единица измерения информации.

Байт (byte) - единица количества информации в системе СИ. Байт - восьмиразрядный двоичный код, с помощью которого можно представить один символ.

Единицы измерения информации в вычислительной технике:

Бит	Элементарная единица информации
Байт (б)	8 бит
Килобайт (Кбайт)	210 байт = 1024 байт
Мегабайт (Мбайт)	210 Кбайт = 220 байт
Гигабайт (Гбайт)	210 Мбайт = 230 байт
Терабайт (Тбайт)	1024 Гбайт = 240 байт
Петабайт (Пбайт)	1024 Тбайт = 250 байт
Эксабайт (Эбайт)	1024 Пбайт = 260 байт

1.2 Измерение информации в быту

1.3 Измерение информации в теории

Теория информации как самостоятельная научная дисциплина была основана Клодом Шенноном в конце 40-х годов 20 века. Предложенная им теория основывалась на фундаментальном понятии количественной меры неопределенности – энтропии и связанного с нею понятия количества информации. При энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т.д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия. Энтропия – мера внутренней неупорядоченности информационной системы.

Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. Одним из самых замечательных результатов теории информации является доказательство, что при любых помехах и шумах можно обеспечить передачу информации без потерь. Первая теорема Шеннона гласит, что при скорости создания информации меньшей пропускной способности канала можно передавать информацию со сколь угодно малой вероятностью ошибок, несмотря на шумы. Шеннон сформулировал энтропию как меру хаоса в противовес количеству информации как меры упорядоченности структур.

Если в системе, состоящей из одного атома, произошло его энергетическое возбуждение, нам это может стать известно по значению температуры. При этом возможно только одно распределение возбуждения в системе равному единице. Энтропия связана с распределением следующим образом: . В нашем случае , а значит, система обладает нулевой энтропией.

В системе из ста атомов, распределение возбуждения может быть осуществлено ста способами, т.е. , . Энтропия системы выросла и стала хаотичной, поскольку мы не знаем, где находится в каждый момент возбужденный атом. Принято считать, что любая система стремится к состоянию равновесия, т.е. растет энтропия системы. Однако второе начало термодинамики (закон сохранения энтропии и информации) требует компенсировать рост энтропии. Информация и является средством компенсации.

В некоторых случаях, когда однозначно нельзя ответить на вопросы распределения вероятности, для определения количества информации уже нельзя использовать формулу Хартли.

Если вероятности равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

2. Подходы измерения

В информатике, как правило, измерению подвергается информация, представленная дискретным сигналом. При этом различают следующие подходы:

Семантический. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности.

2.1Структурный подход к измерению информации

В рамках структурного подхода выделяют три меры информации:

геометрическая. Определяет максимально возможное количество информации в заданных объемах. Мера может быть использована для определения информационной емкости памяти компьютера;

комбинаторная. Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Комбинаторная мера может использоваться для оценки информационных возможностей некоторого системы кодирования;

аддитивная, или мера Хартли.

Геометрическая мера

Определяет максимально возможное количество информации в заданных объемах. Единица измерения – информационный элемент. Мера может быть использована для определения информационной емкости памяти компьютера. В этом случае в качестве информационного элемента выступает минимальная единица хранения – бит. Список самых распространенных более крупных единиц и соотношение между ними приведено ниже:

Понимая информацию как один из основных стратегических ресурсов, без которого невозможна деловая, управленческая, вообще любая социально значимая деятельность, необходимо уметь оценивать ее как с качественной, так и с количественной стороны. На этом пути существуют большие проблемы из-за нематериальной природы этого ресурса и субъективности восприятия конкретной информации различными индивидуумами человеческого общества. С этой точки зрения классификация информации является важнейшим средством создания систем хранения и поиска информации, без которых сегодня невозможно эффективное функционирование информационного обеспечения управления.

Целью работы является рассмотрение видов информации, областей применения и подходов к ее количественной оценке. Для этого нужно рассмотреть следующие задачи и вопросы. Первой задачей является изучение общих понятий по данной теме. Рассмотрение конкретных способов оценки количества информации – вторая задача.

Что такое информация и ее классификация

Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности:

· в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер).

Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то.

Применительно к информации как к объекту классификации выделенные классы называют информационными объектами. С этой точки зрения классификация информации является важнейшим средством создания систем хранения и поиска информации, без которых сегодня невозможно эффективное функционирование информационного обеспечения управления. Классификация носит всеобщий характер вследствие той роли, которую она играет как инструмент научного познания, прогнозирования и управления. Одновременно классификация выполняет функцию объективного отражения и фиксации результатов этого познания. при этом характер классификационной схемы, состав признаков классификации и глубина классификации определяется теми практическими целями, для реализации которых используется классификация, типом объектов классификации, а также условиями, в которых классификация будет использоваться.

1.2 Виды информации

Основные виды информации по ее форме представления, способам ее кодирования и хранения, что имеет наибольшее значение для информатики, это:

1. Графическая или изобразительная — первый вид, для которого был реализован способ хранения информации об окружающем мире в виде наскальных рисунков, а позднее в виде картин, фотографий, схем, чертежей на бумаге, холсте, мраморе и др. материалах, изображающих картины реального мира;

2. Звуковая — мир вокруг нас полон звуков и задача их хранения и тиражирования была решена с изобретение звукозаписывающих устройств в 1877 г. ее разновидностью является музыкальная информация — для этого вида был изобретен способ кодирования с использованием специальных символов, что делает возможным хранение ее аналогично графической информации;

3. Текстовая — способ кодирования речи человека специальными символами — буквами, причем разные народы имеют разные языки и используют различные наборы букв для отображения речи; особенно большое значение этот способ приобрел после изобретения бумаги и книгопечатания;

4. Числовая — количественная мера объектов и их свойств в окружающем мире; особенно большое значение приобрела с развитием торговли, экономики и денежного обмена; аналогично текстовой информации для ее отображения используется метод кодирования специальными символами — цифрами, причем системы кодирования (счисления) могут быть разными;

1.3 Виды подходов к оценке количества информации

(РИСУНОК 1)

При всем многообразии подходов к определению понятия информации, с позиции измерения информации нас будут интересовать два из них: определение К. Шеннона, применяемое в математической теории информации (содержательный подход), и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров (алфавитный подход). (рисунок 1)

1.4 Содержательный подход

Содержательный подход к измерению информации.

Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.

Проще всего определить объем информации в том случае, когда все результаты события могут быть реализованы с равной вероятностью. В этом случае формула Хартли используется для расчета информации.

Причем обычно значение N известно, а I приходится подбирать, что не совсем удобно. Поэтому те, кто знает математику получше, предпочитают преобразовать данную формулу так, чтобы сразу выразить искомую величину I в явном виде: I = log2 N

В более сложной ситуации, когда исход события ожидается с различной степенью достоверности, требуются более сложные вычисления с использованием формулы Шеннона.

Формула Шеннона: I = - ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),

Легко заметить, что если вероятности p1, . pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

1.5 Алфавитный подход

Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста, который пропорционален размеру текста — количеству символов, составляющих текст. Иногда данный подход к измерению информации называют объемным подходом.

Каждый символ текста несет определенное количество информации. Его называют информационным весом символа. Поэтому информационный объем текста равен сумме информационных весов всех символов, составляющих текст.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле Хартли:

Алфавит - множество используемых символов в языке.

Мощность алфавита (N) - количество символов, используемых в алфавите.

i=log2N , где N - мощность алфавита.

Формула Хартли задает связь между количеством возможных событий N и количеством информации i :

Заключение

Читайте также: