Меры неопределенности дискретных множеств реферат

Обновлено: 04.07.2024

Установив, что случайные процессы являются адекватной моделью сигналов, мы получаем возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые просто не возникали. Так и родилась теория информации, специально рассматривающая сигнальную специфику случайных процессов. При этом были построены принципиально новые понятия и получены новые, неожиданные результаты, имеющие характер научных открытий.

Понятие неопределенности

Для характеристики размытости распределения широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.

Энтропия и ее свойства

Примем (пока без обоснования) в качестве меры неопределенности случайного объекта А с конечным множеством возможных состояний А1. Аn с соответствующими вероятностями P₁,P₂. P_n величину

которую и называют энтропией случайного объекта А (или распределения < >. Убедимся, что этот функционал обладает свойствами, которые вполне естественны для меры неопределенности.

Н(p₁. p_n)=0 в том и только в том случае, когда какое-нибудь одно из i > равно единице (а остальные — нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.
Н(p₁. p_n) достигает наибольшего значения при p₁=. p_n=1/n т.е. в случае максимальной неопределенности. Действительно, вариация Н по p_i при условии ∑p_i = 1 дает p_i = const = 1/n.
Если А и В — независимые случайные объекты, то H(A∩B) = H(iq_k>) = H(i>) + H(k>) = H(A) + H(B). Это свойство проверяется непосредственно.
Если А и В — зависимые случайные объекты, то H(A∩B) = H(A) + H(B/A) = H(B) + H(A/B), где условная энтропия H(А/В) определяется как математическое ожидание энтропии условного распределения. Это свойство проверяется непосредственно.
Имеет место неравенство Н(А) > Н(А/В), что согласуется с интуитивным предположением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.

Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности.

Дифференциальная энтропия

Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей, которые, однако, преодолимы. Прямая аналогия

Теперь величину К можно принять равной единице измерения х, что приводит к функционалу

Фундаментальное свойство энтропии случайного процесса

Особое значение энтропия приобретает в связи с тем, что она связана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.

На множестве можно задать любую числовую функцию f_n(C), которая, очевидно, является случайной величиной. Определим f_n(C) c помощью соотношения f_n(C) = -[1/n]⋅logP(C).

Математическое ожидание этой функции

Это соотношение является одним из проявлений более общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины f_n(C) при n стремящемся к бесконечности имеет своим пределом H, но и сама эта величина f_n(C) стремится к H при n стремящемся к бесконечности. Другими словами, как бы малы ни были e > 0 и s > 0, при достаточно большом n справедливо неравенство

P <|[1/n]⋅log(P(C))+H| >ε> 0 и s > 0 можно найти такое no, что реализация любой длины n > no распадаются на два класса:

Число N всех возможных реализаций есть

N = m n = σ n⋅log(m)

Доля реализаций высоковероятной группы в общем числе реализаций выражается формулой

и при H -25 = (3⋅10 7 ) -1

т.е. к высоковероятной группе относится лишь одна тридцати миллионная доля всех реализаций!

Строгое доказательство фундаментального свойства эргодических процессов здесь не приводится. Однако следует отметить, что в простейшем случае независимости символов это свойство является следствием закона больших чисел. Действительно, закон больших чисел утверждает, что с вероятностью, близкой к 1, в длиной реализации i-й символ, имеющий вероятность p_i встретится примерно np_i раз. Следовательно вероятность реализации высоковероятной группы есть

что и доказывает справедливость фундаментального свойства в этом случае.

Подведем итог

Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал (1), названный энтропией. С некоторыми трудностями энтропийный подход удалось обобщить на непрерывные случайные величины (введением дифференциальной энтропии) и на дискретные случайные процессы.

Количество информации

Количество информации как мера снятой неопределенности

полезный (передаваемый) сигнал является последовательностью статистически независимых символов с вероятностями p(x_i),i = 1,m ;
принимаемый сигнал является последовательностью символов Y_k того же алфавита;
если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправленным Y_k=X_k ;
если шум имеется, то его действие приводит к тому, что данный символ либо остается прежним (i-м), либо подменен любым другим (k-м) с вероятностью p(y_k/x_i) ;
искажение данного символа является событием статистически независимым от того, что произошло с предыдущим символом.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа y_k неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия шума она вообще исчезает (апостериорная энтропия равна нулю, поскольку точно известно, что был передан символ y_k=x_i), а при наличии шума мы не можем быть уверены, что принятый символ и есть переданный, т.е. возникает неопределенность, характеризуемая апостериорной энтропией H(X/y_k)=H(i/y_k)>)>0.

В среднем после получения очередного символа энтропия H(X/Y)=M_yk)>

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е. I(X,Y) = H(X)-H(X/Y). (1)

Используя свойство 2 энтропии, легко получить, что I(X,Y) = H(Y) — H(Y/X) (2)

В явной форме равенство (1) запишется так:

а для равенства (2) имеем:

Количество информации как мера соответствия случайных процессов

Представленным формулам легко придать полную симметричность: умножив и разделив логарифмируемое выражение в (3) на p(y_k), а в (4) на p(x_i) сразу получим, что

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой — как следствие; это никак не учитывается при введенном количественном описании информации.

Формула (5) обобщается на непрерывные случайные величины, если в отношении (1) и (2) вместо Н подставить дифференциальную энтропию h; при этом исчезает зависимость от стандарта К и, значит, количество информации в непрерывном случае является столь же безотносительным к единицам измерения, как и в дискретном:

где р(x), p(y) и p(x,y) — соответствующие плотности вероятностей.

Свойства количества информации

Отметим некоторые важные свойства количества информации.

Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х: I(X,Y) = I(Y,X)
Количество информации неотрицательно: I(X,Y) > 0. Это можно доказать по-разному. Например, варьированием p(x,y) при фиксированных p(x) и p(y) можно показать, что минимум I, равный нулю, достигается при p(x,y) = p(x) p(y).
Для дискретных Х справедливо равенство I(X,X) = H(X).
Преобразование y (.) одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине: I[y (X),Y]

Документ из архива "Энтропия и информация в системном анализе. Энтропия дискретного множества. Понятие неопределенности", который расположен в категории " ". Всё это находится в предмете "системный анализ" из раздела "", которые можно найти в файловом архиве МПУ. Не смотря на прямую связь этого архива с МПУ, его также можно найти и в других разделах. Архив можно найти в разделе "рефераты, доклады и презентации", в предмете "системный анализ" в общих файлах.

Онлайн просмотр документа "Энтропия и информация в системном анализе. Энтропия дискретного множества. Понятие неопределенности"

Текст 2 страницы из документа "Энтропия и информация в системном анализе. Энтропия дискретного множества. Понятие неопределенности"

Таким образом видно, что энтропия оценивает разнообразие элементов в
системе по некоторому определенному признаку, который может нас интересовать в той или иной задаче.

Энтропия как мера количества информации.

В основе всей теории информации лежит открытие, что информация допускает количественную оценку.

Вернемся к простейшим опытам с монетой или костью. Перед проведением опыта существует некоторая неопределенность, связанная с незнанием результата опыта. После проведения опыта, т.е. после получения результата, эта неопределенность устраняется. В практике чаще всего встречаются случаи, когда после проведения опыта еще остается некоторая неопределенность.

Если неопределенность до опыта составляла H, а после опыта H₁, то
устраненная в ходе опыта неопределенность составляет:

Энтропия непрерывного множества

На практике мы сталкиваемся с ситуацией, когда число исходов опыта может

быть сколь угодно велико, т.е. k  ∞ . При этом вероятность каждого исхода стремится к нулю (p0), а искомый корень может принимать все возможные значения в заданном интервале (k ). Из теории вероятности известно, что в данном случае необходимо использовать плотность распределения вероятности Р(х).

Эта функция обладает тем свойством, что величина Р(х)dх есть вероятность того, что переменная x (значения корня в рассматриваемом примере) примет значения, заключенные в интервале от х до (х + dх).

Для оценки неопределенности опыта необходимо использовать энтропию непрерывного множества, которое по аналогии с энтропией дискретного множества (6) имеет вид:

При этом всегда

(аналогично случаю дискретного множества Σp_i=1 ). Интегрирование осуществляется в интервале переменной х. Энтропия непрерывного множества (12) обладает большинством свойств энтропии дискретного множества.

Распределение Р(х), которое соответствует максимальному значению энтропии, имеет вид:

где x₀, x₁ - пределы интегрирования.

При этом, если обозначить l=x₁-x₀, то вероятность обнаружить корень уравнения на отрезке длиной l внутри интервала dх равна p=dx/l

По определению вероятности:

Перепишем формулу (12) с учетом (13)

Итак, энтропия непрерывного множества запишется

Это выражение аналогично для энтропии дискретного множества (4).

Таким образом, если для дискретного множества энтропия измеряет неопределенность (неупорядоченность) абсолютным образом и энтропия дискретного множества всегда положительна, то в случае непрерывного множества под логарифмом формулы (14) может стоять величина меньше единицы и энтропия примет отрицательное значение.

Количество информации как критерий оценки степени организованности системы.

где I - блокированное разнообразие;

Н_вх - энтропия, оценивающая неупорядоченность на входе системы; Н_вых - энтропия, оценивающая неупорядоченность на выходе системы.

Критерии степени оценки организованности системы в общем виде записывается как отношение

где η - критерий оценки степени организованности системы.

С помощью критерия η может оцениваться как разделительная способность колонны, так и многоколонной установки в целом.

С точки зрения характера воздействия на организованность системы варьируемые параметры можно разбить на две группы: интенсивные и экстенсивные.

Интенсивные параметры в состоянии повысить организованность системы (качество разделения) при неизменных затратах работоспособной энергии и фиксированных энергетических затратах. Изменение этих параметров обязательно приводит к экстремальному значению критерия, качества разделения.

Экстенсивные параметры могут повысить организованность системы только за счет энергетических или неэнергетических затрат.

Двойственный характер энтропии и количества информации.

Энтропия является количественной мерой неопределенности случайного объекта. Неопределенность статистического типа можно измерить (7)

Количество информации определяется как мера снятой неопределенности (11)

В рассмотренном выше случае энтропия носит функциональный характер и применяется в теории информации.

Энтропия допускает и другое толкование (пример с шарами). В данном случае энтропия выступает как мера разнообразия, неупорядоченности, хаоса (9).

Энтропия как мера разнообразия ближе к физике, термодинамике и используется для оценки степени организованности системы. В данном случае энтропия носит атрибутивный характер.

В учебном пособии рассматриваются модели сигналов, основы теории информации и кодирования, а также некоторые вопросы приема и обработка информации. Книга составлена как сборник лекций, каждая из которых посвящена одной теме, что по замыслу авторов должно облегчить самостоятельную работу над курсом.
В лекциях дается краткое конспективное изложение основных вопросов. Вместе с тем, авторы стремились к тому, чтобы в пособии нашли отражение ключевые вопросы математического описания сигналов, теории информации и кодирования.
Лекции занимают промежуточное положение между справочниками и солидными изданиями и адресованы студентам, обучающимся по учебным планам бакалавров и специалистов.

Содержание лекционного курса(16 лекций):

Предисловие.
Введение. Понятие информации. Предмет и задачи курса.

Список использованных источников.

Бекман И.Н. Лекции по Информатике

формат pdf
размер 27.42 МБ
добавлен 17 октября 2011 г.

Бекман Информатика. (лекции) 2009. Информационные технологии и информатика. Информация. Классическая термодинамика. Термодинамическая энтропия. Статистическая энтропия. Техническая информация и энтропия в историческом контнексте. Техническая информация. Энтропия и информация. Информационные парадоксы. Теория информации. Передача информации. Кодирование информации. Кодирование информации в компьютере. Смысловая информация. Обращение со смысловой и.

Коган И.М. Прикладная теория информации

формат pdf
размер 13.37 МБ
добавлен 20 апреля 2011 г.

Колмогоров А.Н. Теория информации и теория алгоритмов

формат djvu
размер 4.58 МБ
добавлен 26 октября 2009 г.

Москва.: Наука, 1987. -304с В настоящую работу включены работы по теории информации и теории алгоритмов и их приложениям к различным областям знания. комментарии специалистов дают представление о развитии работ А. Н. Колмогорова и современном состоянии рассматриваемых в них проблем. О понятии алгоритма К общему определению количества информации Теория передачи информации Энтропия и ёмкость множеств в функциональных пространствах Подходы к оценк.

Лекции - Теория информации

формат doc
размер 1.19 МБ
добавлен 12 ноября 2011 г.

Автор неизвестен. Тамбовский государственный технический университет. г. Тамбов, 2010 год. - 50 страниц. Понятие видов информации. Основные понятия комбинаторики. Случайные модели в теории информации. Основные понятия теории информации. Меры информации. Классификация мер информации. Энтропия вероятностной схемы. Основные свойства энтропии. Аксиомы Хинчена и Фадеева. Источники информации и их энтропия. Дискретные источники без памяти и с памятью.

Лекции - Теория информации

формат doc
размер 4.59 МБ
добавлен 05 декабря 2010 г.

Лекции по теоретическим основам информации (ТОИ)

формат doc
размер 369.03 КБ
добавлен 12 января 2010 г.

Лекции по теории информации

формат jpg
размер 13.39 МБ
добавлен 05 января 2012 г.

Лекции по теории передачи информации

формат pdf
размер 1.83 МБ
добавлен 07 января 2009 г.

Изложенные в конспекте лекций идеи и методы теории информации представляют интерес не только в плане решения задач, связанных с передачей и хранением информации. Теоретико-информационный подход приобрел значение метода исследования, позволяющего качественно и количественно сопоставлять специфические характеристики конкретных устройств и систем независимо от их физической сущности.

Ломакин Д.В., Туркин А.И. Прикладная теория информации и кодирования

формат pdf
размер 975.4 КБ
добавлен 20 декабря 2010 г.

Ломакин Д. В., Туркин А. И. Прикладная теория информации и кодирования. Конспект лекций. Горьковский политехнический институт, Горький, 1988. Изложены теоретические основы прикладной теории информации и методы ее использования в различных областях науки и техники. Рассматривается роль теории информации и теории кодирования в задачах создания эффективных автоматизированных систем управления и связи. Предназначено для студентов специальности 22.0.

Холево А.С. Введение в квантовую теорию информации

формат djvu
размер 1 МБ
добавлен 04 января 2010 г.

М.: МЦНМО, 2002 - 128с. Лекции посвящены изложению основных понятий и ряда строгих результатов новой научной дисциплины — квантовой теории информации. Возможности квантовых систем передачи и преобразования информации проиллюстрированы на примерах сверхплотного кодирования, квантовой телепортации и квантовых алгоритмов. Рассматриваются энтропийные и информационные характеристики квантовых систем. Подробно обсуждается понятие квантового канала свя.

Кратко перечислим основные понятия, более подробное изложение можно найти в [1], [2], [3].

5.2.1 Энтропия

Количественной мерой неопределенности служит энтропия. Пусть задана дискретная случайная величина , принимающая значения ,_,,_" />
с вероятностями _, _,, _" />
соответственно.

$\xi$

Определение 5.10 Энтропия случайной величины определяется равенством:

$H(\xi)=- \sum _<i=1> ^_>\log_2_,$

$0\cdot\log 0=0$

где .

$\begin <\xi >_: P(_)=1, P(_)=0,\\ <\xi >_: P( _)=0.5, P( _)=0,5,\\ <\xi >_: P(_)=0.01, P( _)=0,99.\\ \end$

Вычисления дают: _)=0" />
, _)=1" />
бит, _)= 0,08" />
бит.

И мы видим, что неопределенность этих случайных величин разная.

Пусть двумерная случайная величина задана распределением

$ _>=P\left(<\xi >_=_,<\xi >_=_\right),1<\leq>i<\leq>r,1<\leq>j<\leq>s$

Определение 5.11 Энтропия двумерной случайной величины задаётся формулой:

$H\left(<\xi > _,<\xi >_\right)=-\sum _^^_>\log _>>>$

Пусть имеются дискретные случайные величины и , заданные вероятностными распределениями , . Для них можно вычислить совместное распределение и условные распределения , для любых фиксированных значений , .

$H(\xi /y)$

Определение 5.12 Условная энтропия задаётся формулой:

$H(\xi /y)=-\sum _<x \in \xi > <p(x/y) \cdot <\log >_p(x/y).>$

Определение 5.13 Условной энтропией двух вероятностных распределений называется усредненная (по всем величина :

$H(\xi /\eta )=-\sum _<y \in \eta > <p\left(y\right) \cdot p(x/y) \cdot <\log >_p(x/y).>>$

Читайте также: