Теорема шеннона хартли кратко

Обновлено: 07.07.2024

Формула Хартли: I = log₂N

при бросании монеты: "выпала решка", "выпал орел";

на странице книги: "количество букв чётное", "количество букв нечётное".

Легко заметить, что если вероятности p₁, . p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8 ).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

Что можно делать с информацией?

создавать; передавать; воспринимать; иcпользовать; запоминать; принимать; копировать;

формализовать; распространять; преобразовывать; комбинировать; обрабатывать; делить на части; упрощать;

собирать; хранить; искать; измерять; разрушать; и др.

Все эти процессы, связанные с определенными операциями над информацией, называются информационными процессами.

Информация достоверна, если она отражает истинное положение дел. Недостоверная информация может привести к неправильному пониманию или принятию неправильных решений.

Достоверная информация со временем может стать недостоверной, так как она обладает свойством устаревать, то есть перестаёт отражать истинное положение дел.

Информация полна, если её достаточно для понимания и принятия решений. Как неполная, так и избыточная информация сдерживает принятие решений или может повлечь ошибки.

Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т.п.

Ценность информации зависит от того, насколько она важна для решения задачи, а также от того, насколько в дальнейшем она найдёт применение в каких-либо видах деятельности человека.

Только своевременно полученная информация может принести ожидаемую пользу. Одинаково нежелательны как преждевременная подача информации (когда она ещё не может быть усвоена), так и её задержка.

Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной.

Информация становится понятной, если она выражена языком, на котором говорят те, кому предназначена эта информация.

Информация должна преподноситься в доступной (по уровню восприятия) форме. Поэтому одни и те же вопросы по разному излагаются в школьных учебниках и научных изданиях.

Информацию по одному и тому же вопросу можно изложить кратко (сжато, без несущественных деталей) или пространно (подробно, многословно). Краткость информации необходима в справочниках, энциклопедиях, учебниках, всевозможных инструкциях.

Обработка информации.

Обработка информации — получение одних информационных объектов из других информационных объектов путем выполнения некоторых алгоритмов.

Обработка является одной из основных операций, выполняемых над информацией, и главным средством увеличения объёма и разнообразия информации.

Средства обработки информации — это всевозможные устройства и системы, созданные человечеством, и в первую очередь, компьютер — универсальная машина для обработки информации.

Формула Хартли: I = log₂N

при бросании монеты: "выпала решка", "выпал орел";

на странице книги: "количество букв чётное", "количество букв нечётное".

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

Широко используются также ещё более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.

1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,

1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

Что можно делать с информацией?

создавать; передавать; воспринимать; иcпользовать; запоминать; принимать; копировать;

формализовать; распространять; преобразовывать; комбинировать; обрабатывать; делить на части; упрощать;

собирать; хранить; искать; измерять; разрушать; и др.

Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной.

Обработка информации.

Теорема Шеннона-Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временного аналогового канала коммуникаций, искаженного гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанным полоса пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и Гауссовский шум характеризуется известной мощностью или мощностью спектральной плотности. Закон назван в честь Клода Шеннона и Ральфа Хартли.

Содержание

Утверждение теоремы

Рассматривая все возможные многоуровневые и многофазные методы шифрования, теорема Шеннона-Хартли утверждает, что ёмкость канала C, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала S через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна:

$C = B \log_2 \left( 1+\frac<S> \right)$

C — ёмкость канала в битах в секунду; B — полоса пропускания канала в герцах; S — полная мощность сигнала над полосой пропускания, измеренной в ваттах или вольтах в квадрате; N — полная шумовая мощность над полосой пропускания, измеренной в ваттах или вольтах в квадрате; S/N — отношение сигнала к шуму(SNR) сигнала к гауссовскому шуму, выраженное как отношение мощностей.

История развития

В течение конца 1920-ых Гарри Найквист и Ральф Хартли разработали фундаментальные идеи, связанные с передачей информации, с помощью телеграфа как система коммуникаций. В то время, это был прорыв, но науки как таковой не существовало. В 1940-ых, Клод Шеннон ввел понятие способности канала, которое базировалось на идеях Найквиста и Хартли, а затем сформулировал полную теорию передачи информации.

Критерий Найквиста

В символьном виде,

$f_p \le 2B \,$

где f_p - частота пульса (пульсов в секунду), и B — полоса пропускания (в герц).

Формула Хартли

Теоремы Шеннона для канала с шумами

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

то существуют коды и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности,

то тогда, на основе которого можно добиться сколько угодной малой вероятности возникновения ошибки, не существует.

Теорема Шеннона-Хартли

В данной теореме определено, что достичь максимальной скорости (бит/сек) можно путем увеличения полосы пропускания и мощности сигнала и, в то же время, уменьшения шума.

Теорема Шеннона-Хартли ограничивает информационную скорость (бит/с) для заданной полосы пропускания и отношения сигнал/шум. Для увеличения скорости необходимо увеличить уровень полезного сигнала, по отношению к уровню шума.

Если бы существовала бесконечная полоса пропускания, бесшумовой аналоговый канал, то можно было бы передать неограниченное количество безошибочных данных по ней за единицу времени . Реальные каналы имеют ограниченные размеры и в них всегда присутствует шум.

Удивительно, но не только ограничения полосы пропускания влияют на количество передаваемой информации. Если мы комбинируем шум и ограничения полосы пропускания, мы действительно видим, что есть предел количества информации, которую можно было передать , даже используя многоуровневые методы кодирования . В канале, который рассматривает теорема Шеннона-Хартли, шум и сигнал дополняют друг друга. Таким образом, приемник воспринимает сигнал, который равен сумме сигналов, кодирующего нужную информацию и непрерывную случайную, которая представляет шум. Это дополнение создает неуверенность относительно ценности оригинального сигнала. Если приемник обладает информацией о вероятности ненужного сигнала, который создает шум,то можно восстановить информацию в оригинальном виде, рассматривая все возможные влияния шумового процесса. В случае теоремы Шеннона-Хартли шум, как таковой, произведен Гауссовским процессом с некоторыми отклонениями в канале передачи. Такой канал называют Совокупным Белым Гауссовским Шумовым каналом, так как Гауссовский шум является частью полезного сигнала;" белый" подразумевает равное количество шума во всех частотах в пределах полосы пропускания канала. Такой шум может возникнуть при воздействии случайных источников энергии а также быть связан с ошибками,возникшими при кодировании. Зная о вероятности возникновения Гауссовского шума, значительно упрощается определение полезного сигнала.

Значение теоремы

Сравнение способности Шеннона к законному Сравнению Хартли

способности канала к информационной норме из закона Хартли, мы можем найти эффективное число различимых уровней

\right) " width="" height="" />
>." width="" height="" />

квадратный корень эффективно преобразовывает отношение мощности в отношение напряжения, таким образом число уровней приблизительно пропорционально отношению среднеквадратической амплитуды сигнала к шумовому стандартному отклонению. Это подобие в форме между способностью Шаннона и законом Hartley's не должно интерпретироваться, чтобы означать, что М. уровней пульса можно буквально послать без любого беспорядка; больше уровней необходимо, чтобы учесть избыточное кодирование и устранение ошибки, но чистая скорость передачи данных, к которой можно приблизиться с кодированием, эквивалентна использованию того М. в законе Хартли.

Вероятностный подход к оценке количества информации

Вероятность случайного события (p) — это отношение количества желаемых исходов данного события (n) к общему количеству исходов (N). Другими словами, p — это коэффициент, указывающий на частоту данного события в результате большого числа идентичных испытаний.

Вероятность может быть выражена числом от 0 до 1 и вычисляется по формуле:

Осторожно! Если преподаватель обнаружит плагиат в работе, не избежать крупных проблем (вплоть до отчисления). Если нет возможности написать самому, закажите тут.

при p, равном нулю, событие никогда не случается;
при p, равном 0,5, событие случается в 50 % от общего числа экспериментов;
при p, равной единице, событие случается всегда.

Задача 1

На детском празднике в беспроигрышном розыгрыше можно выиграть 2 набора карандашей, 5 раскрасок, 10 шоколадок и 13 наборов пластилина. Необходимо вычислить вероятность выигрыша карандашей.

Решение

1. Сначала найдем общее число исходов. Для этого суммируем все возможные ситуации:

2. Теперь вычислим искомую вероятность по формуле:

Вероятность выигрыша набора карандашей составляет 0,1, то есть карандаши можно выиграть в одном случае из 10.

Для определения количества информации в случае равновероятностных событий используют формулу вида:

Здесь N — число возможных вариантов, показатель степени i означает количество информации.

Формула Шеннона в информационных потоках

Значение переменных в данном выражении: I — количество информации; N — число возможных исходов; p_i — вероятность события i.

Подход Шеннона подразумевает под информацией меру сокращения неопределенности.

Измерение информации осуществляется в битах. Возможно получение нецелого числа I. При необходимости оценки размера двоичного кода, в который закодирована эта информация, величина I округляется в большую сторону.

Задача 2

При подкидывании неправильной пирамиды с четырьмя гранями вероятности каждого события равняются:

Найти объем информации при реализации одного из заданных событий.

Решение

Подставим переменные в формулу Шеннона:

Теорема Шеннона-Хартли

При рассмотрении всевозможных многоуровневых и многофазных способах шифрования, утверждение Шеннона-Хартли звучит следующим образом.

Пропускная способность канала (С), являющаяся верхним пределом передачи данных, передаваемых со средней мощностью сигнала (S) через аналоговый канал, на который воздействует гауссовский шум с мощностью (N), вычисляется так:

Здесь: С — пропускная способность канала (бит/с), B — полоса пропускания канала (Гц), S — полная мощность сигнала над полосой пропускания (Вт или В 2 ), N — полная шумовая мощность над полосой пропускания (Вт или В 2 ).

Согласно рассматриваемой теореме, максимальная скорость достигается посредством расширения пропускной полосы и усилении мощности сигнала при уменьшении шума. Иными словами, скорость увеличится, если обеспечить преобладание уровня полезного сигнала над шумом.

При существовании аналогового канала с отсутствием шума и неограниченной полосой пропускания возможность передачи данных без искажения за определенное время не ограничена в объеме. В реальности таких каналов не бывает: они имеют лимит по частоте и характеризуются наличием шума.

Теорема Шеннона-Хартли берет во внимание присутствие шума в канале и предполагает, что приемник воспринимает комплекс из сигналов и шума. Это сочетание необходимой информации и случайного шума кодируется и распознается устройством. Понимания присутствия шума дает возможность получить оригинальную информацию при декодировании.

Значение

Выведем формулу эффективного числа M. Для этого выполним сравнение пропускной способности и меры Хартли:

Взаимосвязь пропускной способности и формулы Хартли не означает, что для передачи данных без искажения достаточно уровня сигнала в количестве M. Для исправления неточностей понадобится больше уровней. M из формулы Хартли означает максимальную скорость передачи информации, достигаемую путем кодирования.

Теорема Шеннона-Хартли в теории информации — применение информации), которое может быть передано по такой связи коммуникации с указанным Клода Шеннона и Ральф Хартли.

Утверждение теоремы

$<\displaystyle S> Рассмотривая все возможные многоуровневые и многофазные методы шифровывания, теорема Шеннона-Хартли утверждает, что , означающая теоретическую верхнюю границу скорости передачи чистых данных, которые можно передать с данной средней мощностью сигнала$
через аналоговый канал связи, подверженный равна:

$<\displaystyle C=B\log _<2> \left(1+>\right),>$

" width="" height="" />
— — полоса пропускания канала в — полная мощность сигнала над полосой пропускания, измеренной в ваттах или вольтах в квадрате; " width="" height="" />
— полная шумовая мощность над полосой пропускания, измеренной в ваттах или вольтах в квадрате; и " width="" height="" />
— отношение сигнала-к-шуму " width="" height="" />
сигнала к Гауссовскому шуму, выраженное как отношение мощностей.

Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA, если не указано иное.

Читайте также: