Цымбал в п теория информации и кодирование киев вища школа 1977 288 с

Обновлено: 07.07.2024

Цымбал В.П. Теория информации и кодирование : [Учеб. пособие для экон. специальностей вузов] / В.П. Цымбал. - 2-е изд., испр. и доп. - Киев : Вища школа, 1977. - 288 с. : ил. ; 20 см. - Список лит.: с. 261-262 (62 назв.)

Купить

Реферат по теме Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

Курсовая по теме Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

ВКР/Диплом по теме Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

Диссертация по теме Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

Заработать на знаниях по теме Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

Помогите сайту стать лучше, ответьте на несколько вопросов про книгу:
Теория информации и кодирование : Учеб. пособие для экон. специальностей вузов

Объявление о покупке
Книги этих же авторов
Наличие в библиотеках
Рецензии и отзывы
Похожие книги
Наличие в магазинах
Информация от пользователей
Книга находится в категориях

--> --> Московская область, Люберцы городской округ, рп. Малаховка, Посёлок МЭЗ
Быковское шоссе, 37
Расположение на карте

санитарный день: последний день месяца
Вт: 10:00-19:00
Ср: 10:00-19:00
Чт: 10:00-19:00
Пт: 10:00-19:00
Сб: 10:00-18:00

--> --> Воронежская область, Воронеж городской округ, Воронеж, Центральный район
Феоктистова, 6
Расположение на карте

--> --> Саратовская область, Саратов городской округ, Саратов, Волжский район, Соколовогорский
Соколовогорская, 2
Расположение на карте

технический день: последняя пт месяца; июль-август: вт-сб 10:00-20:00; вс выходной
Вт: 10:00-20:00
Ср: 10:00-20:00
Чт: 10:00-20:00
Пт: 10:00-20:00
Сб: 10:00-20:00
Вс: 10:00-20:00

--> --> Саратовская область, Саратов городской округ, Саратов, Кировский район
им. Челюскинцев, 99
Расположение на карте

санитарный день: последний пн месяца
Пн: 11:00-19:00
Вт: 11:00-19:00
Ср: 11:00-19:00
Чт: 11:00-19:00
Сб: 11:00-19:00
Вс: 11:00-19:00

--> --> Санкт-Петербург, Санкт-Петербург, Адмиралтейский район, МО №5 "Измайловское"
Набережная Обводного канала, 114
Расположение на карте

--> --> Ставропольский край, Пятигорск городской округ, пос. Горячеводский
Советской Армии проспект, 112
Расположение на карте

санитарный день: последний день месяца
Пн: 10:00-18:00
Вт: 10:00-18:00
Ср: 10:00-18:00
Чт: 10:00-18:00
Пт: 10:00-18:00
Сб: 10:00-18:00

--> --> Ульяновская область, Ульяновск городской округ, Ульяновск, Засвияжский район, 5-й микрорайон Свияга
Корунковой, 25
Расположение на карте

санитарный день: последний чт месяца
Пн: 11:30-20:00
Вт: 11:30-20:00
Ср: 11:30-20:00
Чт: 11:30-20:00
Сб: 11:30-20:00
Вс: 11:30-20:00

--> --> Кемеровская область, Ленинск-Кузнецкий район, с. Камышино
Центральная, 54
Расположение на карте

санитарный день: последний день месяца
Вт: 10:00-19:00
Ср: 10:00-19:00
Чт: 10:00-19:00
Пт: 10:00-19:00
Сб: 10:00-18:00

санитарный день: последний пн месяца
Пн: 11:00-19:00
Вт: 11:00-19:00
Ср: 11:00-19:00
Чт: 11:00-19:00
Сб: 11:00-19:00
Вс: 11:00-19:00

санитарный день: последний день месяца
Пн: 10:00-18:00
Вт: 10:00-18:00
Ср: 10:00-18:00
Чт: 10:00-18:00
Пт: 10:00-18:00
Сб: 10:00-18:00

санитарный день: последний чт месяца
Пн: 11:30-20:00
Вт: 11:30-20:00
Ср: 11:30-20:00
Чт: 11:30-20:00
Сб: 11:30-20:00
Вс: 11:30-20:00

--> --> Кемеровская область, Ленинск-Кузнецкий район, с. Камышино
Центральная, 54
Расположение на карте

Учебник.
4-е изд., перераб. и доп.— К. : Вища шк., 1992, 263 с.: ил.
Изложены основные положения теории информации, теории и практики безызбыточного кодирования, построения эффективных кодов, оптимальных с точки зрения минимальной средней длины кодовых слов.
Четвертое издание учебника (3-е изд.— 1982 г.) дополнено описанием кодирования в информационно-вычислительных сетях.
Для студентов экономических вузов.

Ананиашвили Е.В., Ковальчук Я.М. Прикладная теория информации

формат doc, pdf, ppt
размер 28.37 МБ
добавлен 23 ноября 2011 г.

Учебное пособие (методические указания), М.: Изд-во МИРЭА (ТУ), 1991. - 80 с. Элементы теории информации Дискретизация и квантование в системах передачи информации Кодирование и декодирование в системах передачи информации Модуляция и демодуляция в системах передачи информации Принципы построения систем передачи информации с обратной связью

Березюк Н.Г. Кодирование информации (двоичные коды)

формат djvu
размер 6.11 МБ
добавлен 05 декабря 2010 г.

Березюк Н. Т., Андрущенко А. Г., Мощицкий С. С. и др. Кодирование информации (двоичные коды). Харьков, издательское обьединение "Вища школа", 1978, 252 с. В справочнике рассматриваются вопросы кодирование двоичной информации. Приводятся основные понятия из теории информации и вычислительной техники. Подробно описываются различные двоичные коды, применяемые в дискретных устройствах переработки информации, принципы их построения, даны их классифика.

Колесник В.Д., Полтырев Г.Ш. Курс теории информации

формат pdf
размер 18.47 МБ
добавлен 28 мая 2009 г.

М.: Наука, 1982, 416с. Книга состоит из следующих пяти разделов: кодирование дискретных источников, кодирование в дискретных каналах, кодирование в непрерывных каналах, кодирование непрерывных источников и кодирование в системах с многими пользователями.

Контрольная работа - Теория информации

формат doc
размер 108.47 КБ
добавлен 14 марта 2010 г.

Кудряшов Б.Д. Теория информации

формат pdf
размер 1.22 МБ
добавлен 09 февраля 2011 г.

Учебное пособие. - СПб.: СПбГУ ИТМО, 2010. - 188 с. Теория информации - наука, появление на свет которой связывают с опубликованием Клодом Шенноном работы "Математическая теория связи" в 1948 г. С точки зрения Шеннона, теория информации - раздел математической теории связи. Пособие включает четыре раздела: Измерение информации дискретных источников; Неравномерное кодирование дискретных источников; Кодирование для дискретных каналов с шумом; Непре.

Лекции по теоретическим основам информации (ТОИ)

формат doc
размер 369.03 КБ
добавлен 12 января 2010 г.

Луизова Л.А. Теория информации. Кодирование

формат pdf
размер 200.2 КБ
добавлен 01 ноября 2009 г.

Конспект лекций. – Петрозаводск, ПетрГУ, 2009г. - 20 стр. Кафедра инф. -изм. систем и физической электроники. Содержание. Неравенство Рао - Крамера. Понятие информации по Шенону. Получение информации о системе A в опыте B. Информационные характеристики источников информации и каналов связи. Информационные характеристики канала передачи данных. Кодирование информации. Эффективное кодирование. 1. Код Шеннона – Фано. 2. Код Хафмана. Теоремы Ш.

Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников

формат pdf
размер 484.26 КБ
добавлен 04 июня 2009 г.

Основы теории информации. Необходимые сведения из теории вероятности. Энтропия как мера неопределенности опыта. Свойства энтропии и информации. Эмпирическая энтропия и число сочетаний. Побуквенное кодирование. Префиксные коды и неравенство Крафта. Префиксные коды натурального ряда. Нумерация двоичных слов заданного веса. Стоимость и избыточность кодирования. Теорема Шеннона. Префиксные коды Шеннона, Гильберта-Мура, Шеннона-Фано. Оптимальное кодир.

Цымбал В.П. Задачник по теории информации и кодированию

формат djvu
размер 3.93 МБ
добавлен 17 января 2011 г.

Цымбал В.П. Задачник по теории информации и кодированию

формат pdf
размер 7.63 МБ
добавлен 17 января 2011 г.

Смотри также

Березкин Е.Ф. Основы теории информации и кодирования

Учебное пособие. – М.: НИЯУ МИФИ, 2010. – 312 с. Материал учебного пособия представляет собой теоретическую предпрофилирующую подготовку специалистов по проектированию информационных систем и цифровых комплексов обработки данных. Первые пять разделов посвящены исследованию математических моделей непрерывных сигналов, следующие пять – исследованию информационных моделей дискретных.

3,41 МБ
добавлен 06.04.2012 18:30
изменен 07.04.2012 10:18

Кузьмин И.В., Кедрус В.А. Основы теории информации и кодирования

238 стр. уч. пособие 2-е издание переработанное и дополненное - К. "Вища школа", 1986г. Второе издание дополнено главами , посвященными квантованию и кодированию сигналов. В книге в достаточном объеме изложены основные темы по курсам Теория информации, Теория кодирования, такие как: основные понятия и определения (информация, сигнал), измерение количества информации.

13,11 МБ
дата добавления неизвестна
изменен 13.11.2009 19:07

Сидельников В.М. Теория кодирования. Справочник по принципам и методам кодирования

Москва: Московский государственный университет им. М. В. Ломоносова (МГУ), 2006. — 289 с. Подробный справочник, в котором описаны основные методы кодирования данных такие как метод Соломона-Рида, метод Хемминга, метод Рида-Маллера. Методы построения и свойства кодов, корректирующих ошибки. Описаны принципы помехоустойчивого кодирования, циклические коды, принципы линейного.

1,55 МБ
дата добавления неизвестна
изменен 18.02.2019 05:18

Хэмминг Р.В. Теория кодирования и теория информации

1,77 МБ
дата добавления неизвестна
изменен 29.06.2020 00:45

Цымбал В.П. Задачник по теории информации и кодированию

3,93 МБ
дата добавления неизвестна
изменен 18.02.2020 03:18

Цымбал В.П. Задачник по теории информации и кодированию

Вы можете добавить книгу в избранное после того, как авторизуетесь на портале. Если у вас еще нет учетной записи, то зарегистрируйтесь.

Ссылка скопирована в буфер обмена

Вы запросили доступ к охраняемому произведению.

Это издание охраняется авторским правом. Доступ к нему может быть предоставлен в помещении библиотек — участников НЭБ, имеющих электронный читальный зал НЭБ (ЭЧЗ).

Если вы являетесь правообладателем этого документа, сообщите нам об этом. Заполните форму.

Курс “Теория информации и кодирования”

В этой лекции мы рассмотрим подходы к определению количества информации, на которых основывается ТИК. Здесь мы столкнемся с математическим аппаратом ТИК, который широко использует теорию вероятности. Полученные формулы в дальнейшем нам неоднократно понадобятся.

4.1 Подходы к измерению информации

Контрольные вопросы
1) Назовите три основных подхода к определению количества информации
2) Какой аспект отображает структурный подход
3) Какой аспект отображает статистический подход
4) Какой аспект отображает семантический подход
5) Какие из подходов получили широкое практическое применение

4.2 Структурный подход. Единицы измерения информации

4.3 Статистический подход. Связь информативности и вероятностей

Д) В качестве функции , задающей связь между информационной неопределенностью и вероятностью, используется уже знакомый нам двоичный логарифм. Неопределенность, относительно появления знака i-го типа задается формулой:
H_i = - log₂ p_i (4.3)
Знак "-" здесь появляется потому, что значение вероятности не больше 1, а величина логарифма дробного числа отрицательна, в то время, как сама неопределенность по определению должна быть положительной.

c уменьшением вероятности знака его информативность растет. Например, вероятностям 1/2, 1/4 и 1/8 будут соответствовать значения информативности 1, 2 и 3;
примение логарифма позволяет согласовать статистический и структурный подходы. Так в случае, когда вероятности всех n знаков алфавита одинаковы (при этомp_i=1/n), приведенная формула дает значение информативности Н_i = - log₂(1/n) = log₂n. Здесь значение информативности знаков совпадает с их информационной емкостью;
использование двоичного основания логарифма позволяет определять информацию в битах на знак (в примере с вероятностями знаков 1/2, 1/4 и 1/8 значения информативности 1, 2 и 3 бит/знак).

4.4 Информативность дискретного источника. Безусловная энтропия

Представление об особенностях функции безусловной энтропии дает рис. 4.4, где отображено влияние распределения вероятностей знаков для разных объемов алфавита. Как видно по рисунку, значение энтропии растет с увеличением объема алфавита и убывает с ростом неравномерности распределения (что интуитивно понятно).

объем n алфавита источника. Чем больше разновидностей знаков, тем разнообразие выше;
характер распределения вероятностей. Чем выше неравномерность распределения, тем разнообразие меньше (одни знаки появляются чаще других).

Свойства функции энтропии более полно отображены на рис. 4.5.

Стоит обратить внимание на следующую особенность графика Н(p): энтропия относительно слабо меняется в достаточно широком диапазоне баланса вероятностей (например, при значениях p₁ = 0,7 и p₂ =0,3 она уменьшается лишь на 12% от максимума). Значительное уменьшение энтропии наблюдается только при радикальном отличии вероятностей знаков (например, при p₁ = 0,9 и p₂ =0,1 она снижается на 53%, а при p₁ = 0,99 и p₂ =0,01 — на 92%). Подобные закономерности видны и на рис.4.4: они являются общими.
В дальнейшем мы еще используем показанную на рис.4.5 зависимость.

4.5 Учет предыстории. Условная энтропия

В зависимости от глубины предыстории k будем обозначать условную энтропию Н (k) , в этом контексте безусловная энтропия обозначается как Н (0) . Общая закономерность состоит в том, что с ростом k величина условной энтропии как минимум не убывает:
Н (k) >= Н (1) >= Н (2) .

В предельном случае знаки не зависят друг от друга и при этом учет предыстории не влияет на величину неопределенности (как например, для случайной последовательности чисел).

где p_i/j – условные вероятности появления всех i-х знаков после заданного j-го.

Теперь, усредняя значения Н (1) j с учетом “удельных весов” (вероятностей) знаков, получим значение условной энтропии с глубиной истории в один шаг k=1:
Н (1) = - Σ p_j Σ p_i/j log₂ p_i/j (i = 1. n, j = 1. n) (4.6)

Следующая формула позволяет вычислить значение условной энтропии с глубиной истории k=2:
Н (2) = - Σ p_l Σ p_j Σ p_i/j,l log₂p_i/j,l (i = 1. n, j = 1. n, l = 1. n ) (4.7)

Аналогично вычисляются значения энтропии и при больших значениях k.
При этом каждый шаг увеличения глубины истории означает рост мерности таблицы условных вероятностей. В частности, при k=1 мы будем работать с двумерной таблицей размером nxn=n 2 , при k=2 - с трехмерной размером n 3 и т. д. (рис.4.6). При этом каждое значение условной вероятности нужно подсчитывать. Очевидно, что рост громоздкости на практике ограничивает глубину учета предыстории знаков.

4.6 Информативность непрерывного источника

Рассмотрим понятие энтропии непрерывного источника по аналогии с энтропией источника дискретного [4.3] - рис.4.7.

Дискретная случайная величина характеризуется набором вероятностей p_i для нумерованных знаков алфавита (i = 1. n). Непрерывная случайная величина характеризуется функцией распределения плотности вероятности f(u) – рис.4.7. При этом, задав ограниченную точность квантования с шагом Δu, можем свести непрерывный случай к дискретному. Тогда вероятности p_i будет отвечать площадь столбца f(u_i)Δu и формула энтропии квантованной непрерывной величины по аналогии с (4.2) примет вид:
H_Δu (U) = - Σ [Δu f(u_i)] log₂ [Δu f(u_i)] (4.8)

Эту формулу необходимо преобразовать к удобному виду для случая, когда Δu →0. Чтобы не усложнять восприятие, описание преобразования вынесено в Дополнении к настоящему подразделу. Здесь же приведем его конечный результат:
H(U) = - ∫ f(u) log₂ f(u) du - log₂ Δu (4.9)
В данной формуле первое слагаемое не зависит от точности представления величины U. А вот второе слагаемое при Δu→0 стремится к бесконечности. Это соответствует интуитивным представлениям о том, что неопределенность выбора из бесконечного множества значений также бесконечна. Однако, для практических расчетов бесконечность желательно исключить.

Для исключения бесконечности вычтем из (4.9) последнее слагаемое:
H*(U) = H(U) - (- log₂ Δu) = - ∫ f(u) log₂ f(u) du (4.10).
Полученную величину H*(U) называют дифференциальной энтропией (используется также термин относительная энтропия). Она имеет конечное значение и ее удобно использовать для сопоставления непрерывных случайных величин, которые различаются своими распределениями f(u).
Величину дифференциальной энтропии H*(U) удобно интерпретировать как отличие полной энтропии рассматриваемой величины U от от энтропии -log₂Δu некоторой базовой случайной величины. Показано, что такая базовая величина должна иметь равномерное распределение в пределах изменения u от 0 до 1.

Свойства дифференциальной энтропии (ДЭ) иллюстрирует следующий рисунок.

ДЭ может быть как положительно, так и отрицательной . Действительно, Н*(U) определяется по отношению к энтропии величины, равномерно распределенной от 0 до 1. Но аналогичная величина, распределенная в более узком диапазоне очевидно характеризуется меньшей неопределенностью;
она увеличивается с ростом дисперсии величины U . Очевидно, что чем больше разброс значений случайной величины, тем выше неопределенность;
она не зависит от мат. ожидания случайной величины. На самом деле, если мы будем помещать распределение такой величины в разные ее диапазоны, это никак не повлияет на степень неопределенности.

Случай 1. Для равномерного распределения плотности вероятности в диапазоне от a до b с учетом 4.10 получаем формулу:
H*(U)= -∫ [1/(b-a)] log₂ [1/(b-a)] du = log₂ (b-a) (4.11)
Напомним, что для равномерного распределения дисперсия определяется как D = σ 2 = (b-a) 2 /12.

Случай 2. Для нормального (Гауссова) распределения плотности вероятности со среднеквадратическим отклонением σ и дисперсией σ 2 с учетом 4.9 получаем формулу:
H*(U) = log₂ √(2πσ 2 e) (4.12)
(здесь e - константа Эйлера примерно равная 2,72).

Два рассмотренных случая интересны еще и тем, что соответствующие распределения обеспечивают максимум энтропии (если для непрерывной величины ограничен диапазон, то данному условию отвечает равномерное распеределение, если дисперсия - то нормальное). В дальнейшем мы используем этот результат.

Контрольные вопросы
1) Как устанавливается соответствие между дискретным и непрерывным подходами к определению энтропии. Поясните это с помощью рисунка
2) Запишите итоговую формулу для определения энтропии непрерывной величины. Почему она дает бесконечное значение энтропии. Насколько это соответствует интуитивным представлениям.
3) Поясните понятие дифференциальной энтропии и запишите формулу для ее определения.
4) Сформулируйте и поясните с помощью рисунка основные свойства дифференциальной энтропии непрерывного источника
5) Запишите формулы дифференциальной энтропии для равномерного и нормального распределений плотности вероятности. Проиллюстрируйте с помощью этих формул основные свойства ДЭ.

Порядок вывода формулы энтропии непрерывного источника
(дополнение к подразделу 4.6)

Учитывая известное правило, что логарифм произведения равен сумме логарифмов сомножителей, формулу (4.8) можно представить как сумму двух слагаемых:
H_Δu(U) = - Σ[Δu f(u_i)]2Δu+log₂f(ui)> = - Σ[f(u_i)log₂f(u_i)]Δu - log₂Δu Σf(u_i)Δu

первое слагаемое
Σ [f(u_i) log₂ f(u_i)] Δu ≈ ∫ f(u) log₂ f(u) du;
второе слагаемое
- log₂Δu Σf(u_i)Δu = - log₂ Δu, поскольку Σ f(u_i) Δu = ∫ f(u)du = 1.

В ней сочетаются золотая классика и самая актуальная современность computer-science.

Здесь вы найдете материалы, которые помогут в изучении дисциплины “Теория информации и кодирования” (ТИК) в том виде, как она преподается на кафедре ЭВМ ДИИТа.

Читайте также: