По каналу связи передается сообщение из ансамбля
Обновлено: 01.07.2024
Настоящие методические указания представляют собой руководство для проведения практических занятий по курсу "Основы теории информации, кодирования и модуляции". Методические указания предназначены для студентов очной формы обучения по направлению подготовки 200400 и 200401 "Оптотехника", по профилю 200200.62 "Оптико-электронные приборы и системы". В методических указаниях содержатся краткие теоретические сведения по разделам курса "Теория информации" и "Кодирование информации". В конце каждого параграфа приводится разбор решений типовых задач, предлагаются задачи для самостоятельной работы, и контрольные вопросы.
Приведенный ниже текст получен путем автоматического извлечения из оригинального PDF-документа и предназначен для предварительного просмотра.
Изображения (картинки, формулы, графики) отсутствуют.
На вход дискретного симметричного канала без памяти поступают двоичные символы и с априорными вероятностями p(U1) = 0,15 и p(U2) = 0,85. Переходные вероятности в таком канале задаются соотношением , где p - вероятность ошибки, p = 0,1.
Определить все апостериорные вероятности .
Ситуация в канале характеризуется схемой, изображенной на рисунке 2.1:
Так как р - вероятность ошибки, следовательно вероятность правильного приема - q, причем
Найдем переходные вероятности:
В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью:
Но не вся информация, передающаяся по каналу может быть ошибочной. Таким образом, правильно переданная информация описывается следующим распределением вероятностей:
По формуле Байеса определим апостериорные вероятности:
Используя формулу Байеса, получаем:
Ответ: апостериорные вероятности составляют соответственно , , и .
В соответствие с формулой (1.25а) лекции пропускная способность дискретного канала без шума определяется:
, где М=8,
Подставляя в формулу (1.25а) полученные значения, получаем
Скорость передачи информации определяется по формуле:
, где
, т.к. =0,
т.к. шум отсутствует. Энтропию найдем по формуле Шеннона:
Подставляя исходные значения в формулу, получаем:
Ответ: ,
Прочтите также:
Расчет и моделирование элементов супергетеродинного приемника
Супергетеродинный радиоприёмник (супергетеродин) - один из типов радиоприёмников, основанный на принципе преобразования принимаемого сигнала в сигнал фиксированной промежуточной час .
Разработка системы определения перемещения движущегося предмета
Для создания автоматизированных систем управления в различных областях народного хозяйства широко применяются различные датчики, в том числе датчики положения движущихся предметов (ДПП) .
Единица измерения производительности 1 бит/с.
Скорость передачи информации по каналу это количество информации на выходе за одну секунду,
Важнейшая характеристика канала это пропускная способность . Она определяется как максимально возможная скорость передачи информации по каналу связи
[дв.ед./с] или [бит/c]. (3.4)
Пропускная способность дискретного канала без помех
Пропускная способность двоичного симметричного канала связи c канальной матрицей
где p 0 вероятность ошибки, определяется выражением
а вероятность ошибки будет меньше заданной величины.
Для непрерывного канала с помехами пропускная способность определяется выражением:
где ; энтропия помехи; f k граничная частота пропускания канала; P xk средняя мощность сигнала, допускаемая в канале; средняя мощность помехи в канале; отношение сигнал-помеха.
Максимальное количество информации, которое можно передать по каналу связи за время T k ,
3.2.Типовые примеры
Пример 3.2.1. По двоичному симметричному каналу связи с помехами передаются два сигнала x 1 и x 2 с априорными вероятностями P(x 1 )=3/4 и P(x 2 )=1/4. Из-за наличия помех вероятность правильного приема каждого из сигналов уменьшается до 7/8. Длительность одного сигнала . Требуется определить:
1) производительность и избыточность источника;
2) скорость передачи информации и пропускную способность канала связи.
Решение . Определим единицу измерения количества информации как или как и воспользуемся результатами решения примера 2.2.1, в котором получены:
Рассчитаем на их основе информационные характеристики источника и канала связи:
1) согласно (3.2), производительность источника
2) согласно (3.1), избыточность источника при максимальном количестве его информации
3) согласно (3.3), скорость передачи информации
4) согласно (3.6), при вероятности ошибки или пропускная способность канала на сигнал
и составляет на один сигнал, а пропускная способность в единицу времени
Сравнение C и vI X показывает, что пропускная способность данного канала не обеспечивает передачи информации со сколь угодно малой вероятностью ошибки путем помехоустойчивого кодирования, поскольку vI X >C (согласно теореме Шеннона).
Пример 3.2.2. Число символов алфавита источника (или ). Вероятности появления символов источника
Между соседними символами имеются корреляционные связи, которые описываются при матрицей условных вероятностей P(x i /x j )= :
Требуется определить избыточность источника R1 при статистической независимости символов и R2 при учете зависимости между символами.
Решение. Для оценки избыточности нужно найти безусловную энтропию H2(X) и условную энтропию H3(X/X) источника. Сначала определим единицы измерения количества энтропии:
а) при натуральном логарифме (нит) ;
б) при двоичном логарифме (бит) .
В случае не учета статистической связи на основании (1.1) для H2(X) имеем
С учетом корреляционной связи на основании (1.5) или (1.7)
Максимально возможная энтропия источника с четырьмя символами определяется мерой Хартли
Пример 3.2.3. По каналу связи передается ансамбль 3 сигналов x i , с длительностью и частотой следования . Источник сигналов имеет матрицу P(X)=Px безусловных вероятностей
Канал связи характеризуется при , , и матрицей условных вероятностей P(y j /x i )= , где y j , ансамбль сигналов на выходе канала (т.е. приемника),
Определить пропускную способность канала. Сравнить производительность источника и пропускную способность канала.
Решение. Предварительно определим единицы измерения количества энтропии:
а) при натуральном логарифме (нит) ;
б) при двоичном логарифме (бит) .
По условию задачи скорость v x создания сигналов и скорость v k их передачи по каналу равны, т.е. v x =v k . Эти скорости соответствуют частоте следования сигналов, т.е.
Согласно определению (3.5), пропускная способность
где максимум ищется по всем распределениям вероятностей P(X) и P(Y).
Найдем безусловные вероятности P(y i ):
Согласно (1.1), безусловная энтропия H(Y) выходного сигнала
На основании (1.7) с учетом P(x i ,y j )=P(x i )P(y j /x i ) условная энтропия H(Y/X) выходного сигнала Y относительно входного X
Раскрывая знак суммы при , имеем
Так как сумма вероятностей , то условная энтропия принимает вид
и не зависит от статистик входного и выходного сигналов. Она полностью определяется параметрами канальной матрицы.
Согласно (2.3), количество информации на выходе канала связи
будет максимально при максимуме энтропии приемника H(Y). Энтропия H(Y) максимальна в случае равной вероятности сигналов на выходе канала, т.е. когда при числе сигналов их вероятности
В этом случае энтропия выходных сигналов канала соответствует мере Хартли и равна lnN, т.е.
Таким образом, максимальное количество информации на выходе канала связи, определяемое как I(X,Y) max =H(Y) max -H(Y/X), будет
Пропускная способность канала
Согласно (1.1), безусловная энтропия H(X) входного сигнала
При этом, согласно (3.2) и (2.2), производительность vI(X) источника
Так как vI(X)>C, то канал связи нельзя использовать для передачи информации от данного источника.
Пример 3.2.4. Определить максимально возможную скорость передачи информации по радиотехническому каналу связи пункта управления с телеуправляемой ракетой, если полоса пропускания канала связи равна , а минимальное отношение сигнал/шум по мощности x =P x /P в процессе наведения ракеты на цель .
Предварительно определим единицы измерения количества информации:
а) при натуральном логарифме (нит) ;
б) при двоичном логарифме (бит) .
На основании (3.8) пропускная способность данного непрерывного канала
3.3.Типовые задачи
Задача 3.3.1. Алфавит состоит из четырех букв x 1 , x 2 , x 3 и x 4 . Вероятности появления символов P(x i ) заданы вектор-столбцом
Между соседними символами имеются корреляционные связи, которые описываются при матрицей условных вероятностей P(x i /x j )= следующего вида
Требуется определить избыточность источника при статистической независимости символов и при учете зависимости между ними.
Ответ . Избыточность источника при статистической независимости символов и при статистической зависимости символов .
Ответ. Избыточность кода R=0.42.
Задача 3.3. 3 . Измерительное устройство вырабатывает при среднеквадратическом отклонении и параметре случайный сигнал U(t) с нормальной плотностью вероятности и корреляционной функцией
Определить избыточность сигнала, вызванную наличием корреляции.
Ответ . При шаге квантования избыточность сигнала
Задача 3.3. 4 . На вход канала связи поступает ансамбль сигналов , с длительностью и частотой следования . Сигнал x 1 значительно отличается от других и всегда принимается правильно. Априорные вероятности P(x i ) и вероятности переходов P(y j /x i ), имеют при и параметрах ; и значения, указанные в соответствующих матрицах
Требуется найти пропускную способность канала связи и установить, можно ли использовать данный канал для передачи информации от заданного источника.
Ответ . При введении коэффициента
пропускная способность канала
Задача 3.3. 5 . На вход канала связи поступает ансамбль сигналов , с длительностью и частотой следования . Априорные вероятности P(x i ) и условные вероятности P(y j /x i ), имеют при и вероятности ошибки значения, указанные в соответствующих матрицах
Вычислить пропускную способность канала связи и установить, достаточно ли предоставленного канала для передачи информации от источника.
Ответ . Пропускная способность канала
Задача 3.3. 6 . Определить пропускную способность канала связи, по которому передаются сигналы , с длительностью и частотой следования . Влияние помех характеризуется , и вероятности ошибки матрицей условных вероятностей
Ответ . Пропускная способность канала
Задача 3.3. 7 . Определить полосу пропускания канала передачи телевизионного черно-белого изображения с числом элементов , числом кадров за время и числом градаций яркости для отношения сигнал-помеха при условии, что изображение может принимать наиболее хаотичный вид, а именно вид белого шума.
Ответ . Полоса пропускания канала
Примечание. Изображение принимает вид белого шума, если все его элементы как в одном кадре, так и в различных кадрах независимы.
Задача 3.3. 8 . Определить пропускную способность симметричного канала с матрицей условных вероятностей
Ответ . Пропускная способность .
Задача 3.3.9. Двоичный источник с равновероятными элементами имеет производительность . При передаче по каналу в среднем один из переданных 100 символов искажается. Определить скорость передачи информации по данному каналу.
Ответ . При вероятности ошибки скорость передачи информации по каналу
Задача 3.3.10. По радиоканалу с минимальным временем передачи сигнала и полосой частот , в котором действует белый гауссов шум со спектральной плотностью мощности , передается сигнал u(t), имеющий граничную частоту и среднюю мощность . Сколько времени займет передача сигнала по данному каналу.
Ответ . Время передачи сигнала
Похожие документы:
Титульный лист программы обучения по дисциплине (Syllabus) (23)
. ) 1 Сведения о преподавателях и контактная информация Ст. преподаватель Каршигина Зауре Байтасовна . 288 с. 7 Лукашенко Э. Е., Погодаев А. М., Сладкова И. А. Сборник примеров и задач по теории процессов цветной металлургии. – М.: Металлургия, 1971 .
Нестандартные задачи по теории вероятностей для студентов экономических специальностей учебное пособие для вузов
. Зубков А.М. Сборник задач по теории вероятностей. – М., наука, 1980. Вентцель Е.С. Исследование операций. Задачи, примеры, методология. . рекламораспространитель, потребитель рекламной информации). Основные задачи рекламной коммуникации: аттрактивная, .
Теория метафоры э кассирер р якобсон
Теория метафоры э кассирер р якобсон
Задания Д8 № 6224
П — 111111, А — 110001, Р — 001001.
Можно ли использовать одно из таких слов: 000001, 111001, 000111?
4) нет, не подходит ни одно из указанных выше слов
Проанализируем каждый вариант кодового слова. Первое слово: 000001 отличается от буквы А только в двух позициях. Второе слово: 111001 отличается от буквы А только в одной позиции. Третье слово: 000111 отличается от любой буквы П, А или Р не менее чем в трёх позициях. Таким образом, в качестве кодового слова для буквы К можно использовать слово 000111.
Правильный ответ указан под номером 3.
Задание 4 № 15845
Укажите кратчайшее кодовое слово для буквы Г, при котором код будет допускать однозначное декодирование. Если таких кодов несколько, укажите код с наибольшим числовым значением.
Перечислим возможные коды (не использующиеся для кодировки других букв) в порядке возрастания длины и числового значения:
0 — нельзя из-за А.
1 — нельзя, буквы Б, В начинаются с 1.
01 — нельзя из-за А.
10 — нельзя из-за В.
11 — нельзя из-за Б.
000 — нельзя из-за А.
001 — нельзя из-за А.
100 — можно использовать.
101 — нельзя из-за В.
110 — нельзя из-за Б.
111 — можно использовать.
Таким образом, поскольку, если кратчайших кодов несколько, необходимо указать код с наибольшим числовым значением, кратчайшее кодовое слово для буквы Г — 111.
Задание 4 № 23903
Укажите кратчайшее кодовое слово для буквы А, при котором код будет допускать однозначное декодирование. Если таких кодов несколько, укажите код с наибольшим числовым значением.
Для трёх букв кодовые слова уже известны, осталось подобрать для оставшейся буквы такое кодовое слово, которое будет являться кратчайшим и удовлетворять условию Фано.
Кодовым словом не могут быть ни 0, ни 1, потому что есть кодовые слова, начинающиеся с 0 и 1. Для оставшейся буквы можно использовать кодовые слова 100 и 111. Кратчайшее слово с наибольшим числовым значением — 111.
Задание 4 № 27004
Кодовыми словами для буквы А не могут быть 0 или 1, поскольку будет нарушаться условие Фано. Поскольку буква Б встречается в слове БАОБАБ 3 раза, возьмём кодовое слово для буквы Б равным 10. Буква А встречается в слове БАОБАБ 2 раза, значит, кодовым словом для буквы А будет 001. Букву О закодируем кодовым словом 0001. Тогда для кодирования слова БАОБАБ потребуется 16 двоичных знаков. Значит, ответ — 001.
2) скор ость передачи информации и пр опускную способность канала связи.
Решени е . Определим единицу измерения количес тва информации как
Рассчитаем на их основе информацион ные характеристик и источн ика и
2) согласно (3.1), избыточ ность источника при максимальном колич естве его
на один сигнал, а пропускная способность в едини цу
показы вает, чт о пр опускная способность данного канала
не обеспечивает передачи информации со сколь угодно малой вероятност ью
ошибки путем помехоустойчив ого кодирования , поскольку vI
Между соседними символами имеют ся корреляц ионные связи, кото рые
Требуется определить избыточность источ ника R 1 при статист ическо й
независимос ти символо в и R2 при учете зависимост и между символами.
Решени е. Для оценки избыточ ности нужно найти безусловную энтропию
H1(X) и ус ловну ю энтро пию H2(X/X) исто чника. Сначала определим единицы
В случае не учета статистическ ой связи на основании (1. 1) для H1(X) имеем
С учетом корре ляционной связи на основании (1.5 ) или (1.7)
Максимально возможная энтропия источника с четырьмя символами
Пример 3.2.3 . По каналу связи передается ансамбль 3 сигналов x
Определить пропускну ю способность канала. Сравнить произв одительнос ть
Решени е. Предварите льно определим единицы измерения количества
где м аксимум ищется по всем распределениям вероятностей P(X ) и P(Y).
Согласно (1.1), безусловная энтро пия H(Y) вых одного сигнала
и не зависит от статисти к входного и выходног о сигналов. Она полность ю
Согласно (2.3), количест во информации на выходе канала связи
будет максимальн о при максимуме энтропии приемника H(Y). Энтропи я H( Y)
максимальна в сл учае рав ной вероятност и сигналов на выходе канала, т.е. ког да
В этом случае энтропия выходных сигналов канала соответст вует мере Хартли и
Таким образом, максимальное количес тво информации на выходе канала
Согласно (1.1), безусловная энтро пия H(X) вход ного сигнала
При это м, согласно (3.2) и (2.2), произ водитель ность vI(X) источ ника
Так как vI(X)>C, то канал связи нельзя исп ользова ть для передачи
Между соседними символами имеются корреляцио нные связи, которы е
Требуется определить избыточн ость источника при статистичес кой
независимос ти символо в и при учете зависим ости между ними.
Отве т . Избыточност ь источ ника при статис тической независи мости
символов , вероят ности появления которых равны 0.8, 0.1 и 0.1. Корреляция
между символами отсутс твует. Определить избыт очность кода.
Задач а 3.3.3. На вход канала связи поступает ансамбль сигналов Вычислит ь пропускну ю способнос ть канала с вязи и устан овить , достат очно ли предоставлен ного канала для передачи информации от источн ика. Задач а 3.3.4 . Определить пропускн ую способность канала связи, по Задач а 3.3.5 . Определить пропускную способность симметричног о канала с Задач а 3.3.6 . Двоичн ый источни к с равновероят ными элементами имеет переданных 100 символов искажается. Определить скорость передачи Идея эф фективног о двоич ного кодир ования основы вается на теореме Шеннона о кодиро вании для дискретны х каналов без помех. Согласно этой теореме, путем кодирова ния скорость передачи можно сделать максимальной Для этого нужно статисти чески согласовать источ ник и канал. Это кодовым и комбинац иями, а менее вероятн ые более длинными. В э том случае Источ ник будет согласован с двоичным каналом, когда Код, обеспечивающий равенство (4.2), имеет наибольшую эфф ективн ость Извес тны две методики постр оения эффекти вного кода: алгоритм Шеннона- Фано и алгоритм Хаф фмена. Последний алгоритм обеспечивает однозначное Рассмотрим алгорит м Хаффмена. Составляется таблица. В таблице Ему приписывае тся суммарная вероятность. Вероятности снова располаг аются в порядке их убыван ия в дополнительн ом столбце, где две последние объединяются. Процесс продолжается до получения вспомогательно го столбца с Согласно это й таблице, стро ится кодов ое дер ево в виде графа. При движен ии из верш ины дерева с P =1 ребрам графа присваивают ся соотве тств ующие вероятност и и кодовые символы, например “1” при выходе из узла влев о и “0”при вых оде из узла в право. Дв ижение по кодов ому дереву из
Читайте также: