книги / Теория электрической связи. Основные понятия

80

сигнала и форма сигналов. Для отсутствия искажений необходимо, чтобы модуль коэффициента передачи и времени запаздывания для всех составляющих были одинаковы. Нелинейными называют искажения сигналов, которые возникают в нелинейных безынерционных четырехполюсниках с постоянными параметрами из-за нелинейности характеристик активных элементов: транзисторов, диодов и др. В результате нелинейных искажений спектр сигналов расширяется, в них появляются дополнительные компоненты, растут уровни взаимных помех в каналах.

Для рассмотрения помех в непрерывных каналах выходной сигнал представляют в виде

x(t,τ)= µ(t)S[t − τ(t)]+ ξ(t),

(5.1)

где S(t) – выходной сигнал; µ(t) и ξ(t) – соответственно мультипликативная

иаддитивная помехи; τ(t) – задержка сигнала в канале.

Внастоящее время разработано большое количество моделей непрерывных каналов, различных по сложности математического описания, требуемым исходным данным и погрешностям описания реальных каналов. Наиболее распространены следующие модели: идеальный канал, гауссов канал, гауссов канал с неопределенной фазой, гауссов однолучевой канал с замираниями и сосредоточенными помехами, канал с межсимвольной интерференцией (МСИ) и аддитивным шумом. Для анализа реальных каналов в конкретных условиях обычно выбирают такую модель, которая приводит к не слишком трудоемким решениям задач и в то же время обладает погрешностями, допустимыми в инженерных расчетах.

Идеальный канал без помех представляет собой линейную цепь с постоянной передаточной функцией, обычно сосредоточенной в ограниченной полосе частот. Допустимы любые входные сигналы, спектр которых лежит в определенной полосе частот F, имеющие ограниченную среднюю мощность Рс (либо пиковую мощность Рпик). Эти ограничения характерны для всех непрерывных каналов, и в дальнейшем они не оговариваются. В идеальном канале выходной сигнал при заданном входном оказывается детерминированным. Модель идеального канала слабо отражает реальные условия, ее применяют чаще всего для анализа линейных

инелинейных искажений модулированных сигналов в многоканальных системах проводной связи.

Гауссов канал. Основные допущения при построении такой модели следующие: коэффициент передачи и задержка сигналов в канале не зависят от времени и являются детерминированными величинами, известными в месте приема сигналов; в канале действует аддитивная флуктуационная помеха – гауссов «белый шум». Гауссов канал применяют как модель реальных каналов проводной связи и однолучевых каналов без замираний или с медленными замираниями. При этом замирания представляют собой неконтролируемые случайные изменения амплитуды сигнала. Такая мо-

81

дель позволяет анализировать амплитудные и фазовые искажения сигналов и влияние флуктуационной помехи.

Гауссов канал с неопределенной фазой сигнала. В этой модели время задержки сигнала в канале рассматривают как случайную величину, поэтому фаза выходного сигнала также случайна. Для анализа выходных сигналов канала необходимо знать закон распределения времени задержки или фазы сигнала.

Гауссов однолучевой канал с замираниями. В этой модели коэффициент передачи канала и его фазовую характеристику рассматривают как случайные величины или процессы. В этом случае спектр выходного сигнала канала шире спектра входного даже при отсутствии помехи из-за паразитных амплитудной и фазовой модуляции. Такие модели достаточно хорошо описывают свойства радиоканалов различных диапазонов и проводных каналов со случайными, в том числе и переменными параметрами.

Гауссов многолучевой канал с замираниями. Эта модель описывает радиоканалы, распространение сигналов от передатчика к приемнику в которых происходит по различным «каналам» – путям. Длительность прохождения сигналов и коэффициенты передачи различных «каналов» являются неодинаковыми и случайными. Принимаемый сигнал образуется в результате интерференции сигналов, пришедших по различным путям.

Вобщем случае частотная и фазовая характеристики канала зависят от времени и частоты. Для описания многолучевых каналов с замираниями необходимо задавать в п раз больше (п – число путей распространения радиоволн) статистических характеристик по сравнению с однолучевым.

Вто же время характеристика многолучевого канала с замираниями является одной из наиболее общих и пригодна для описания свойств большинства радиоканалов и проводных каналов.

Гауссов многолучевой канал с замираниями и аддитивными сосредоточенными помехами. В этой модели наряду с флуктуационной помехой учитывают и различного вида сосредоточенные помехи. Она является наиболее общей и достаточно полно отражает свойства многих реальных каналов. Однако ее использование порождает сложность и трудоемкость решения задач анализа, а также необходимость сбора и обработки большого объема исходных статистических данных.

Канал с межсимвольной интерференцией (МСИ) и аддитивным шумом. Эту модель используют в случае, когда импульсная характеристика канала от времени не зависит (или меняется очень медленно), так что рассеяние по частоте практически не наблюдается. Межсимвольная интерференция вызывается нелинейностью ФЧХ канала и ограниченностью его полосы пропускания. В радиоканалах причиной МСИ чаще всего является многолучевое распространение радиоволн. На выходе многолучевого канала полезный сигнал оказывается деформированным так, что одновре-

82

менно присутствуют отклики канала на отрезки входного сигнала, относящиеся к довольно отдаленным моментам времени.

В настоящее время для решения задач анализа непрерывных и дискретных каналов используются, как правило, модель гауссова канала и модель гауссова однолучевого канала с замираниями.

5.2. Анализ дискретных каналов

Рассматривая модель дискретного канала, следует помнить, что

внем всегда содержится непрерывный канал, а также модем. Последний можно рассматривать как устройство, преобразующее непрерывный канал

вдискретный.

Дискретный канал математически описан полностью, если заданы алфавит кодовых символов на входе xi (i = 1,2,3, …, m) вместе с их вероятностями Р(хi), алфавит кодовых символов x′j (j = 1,2, …, m′), снимаемых

с выхода, количество ν кодовых символов, пропускаемых в среднем в единицу времени, и значения вероятностей переходов P(x′j ) (i = 1,2,3, …, m;

j = 1,2, …, m′), т. е. вероятностей того, что на выходе канала появится символ x′j , если на вход подан символ xi.

Вероятность совместного события, состоящего в подаче символа xi на вход и получении символа x′j на выходе,

P(xi,x′j )= P(xi )P(x′j			xi )= P(x′j )P(xi				x′j ),	(5.2)
где P(x′j ) – безусловная вероятность приема символа x′j :
P(x′j )= ∑m	P(xi )P(x′j				xi ).			(5.3)
i=1

Вероятность того, что при появлении на выходе кодового символа x′j был передан символ xi (так называемая апостериорная или послеопыт-

ная вероятность), определяется формулой Байеса:

P(xi		x′j )=	P(xi )P(x′j			xi )			.
			m	)P(x′j				xi )		(5.4)
			∑P(xi
			i=1

Указанные вероятности в общем случае зависят от того, какие символы передавались и принимались ранее. Заметим, что объемы алфавита на входе и выходе канала в общем случае могут не совпадать: m′ ≠ m.

Если вероятности перехода P(x′j xi ) для каждой пары i, j не меняются во времени и не зависят от того, какие символы передавались и прини-

83

мались ранее, дискретный канал называют однородным (стационарным)

ибез памяти. Если эти вероятности зависят от времени, то канал называется неоднородным (нестационарным), если же они зависят от того, какие символы передавались и были приняты ранее, то канал называют каналом с памятью. Такой канал может математически описываться цепью Маркова (цепями Маркова или марковскими цепями называют последовательности, в которых существуют статистические связи между символами).

Реальные дискретные сигналы являются неоднородными и с памятью. Это обусловлено следующими причинами: искажением сигналов

ивлиянием помех в непрерывном канале, задержкой во времени выходной последовательности сигналов по отношению к входной, нарушением тактовой синхронизации передаваемых и принимаемых импульсов, ошибками решающих схем. Однако модель дискретного однородного канала без памяти как модель первого приближения нашла широкое применение. Она позволяет упростить методы анализа и получение исходных данных. Если параметры непрерывного канала считать примерно постоянными на интервале анализа, а действующую в нем аддитивную помеху – стационарным случайным процессом, дискретное отображение канала на участке от выхода кодера до входа в декодер оказывается однородным и без памяти.

Если в однородном дискретном канале алфавиты на входе {xi}, i = 1, 2, 3, …, m и выходе {xj}, j = 1,2,3,… одинаковы (как в большинстве дискретных систем связи) и для любой пары j ≠ i вероятности P(x′j xi )= p0, а

для пары j = i P(x′j xi )= q =1− (m −1)p0, то такой канал называют симметричным каналом без стирания. Вероятности переходов в двоичном симметричном канале схематически показаны в виде графа на рис. 5.1.

Из каналов, в которых алфавиты на входе и выходе не совпадают, большой интерес представляет канал, в котором алфавит на выходе содержит лишний символ по сравнению с алфавитом входа (m′ = 1 + m). Этот канал называется каналом со стиранием

(рис. 5.2). Появление дополнительного символа xm′ +1 на выходе можно интерпретировать

x1	q=1–p0	x′1
	p0	p0

x2 x′2 q=1–p0

Рис. 5.1. Граф переходов для двоичного симметричного канала

x1	q	x′1
	pc
	p0
		θ
	p0
x2	pc	x′2

q

как признак того, что анализируемый элемент	Рис. 5.2. Граф переходов для
сигнала не может быть надежно опознан ре-	двоичного симметричного
шающей схемой ввиду присутствия в непре-	канала со стиранием

рывном канале весьма сильной помехи. Такой дополнительный символ обозначим знаком θ, а вероятность перехода, при котором появляется та-

84

кой символ, – через рс. Хотя часть принятой кодовой комбинации стирается, тем не менее при соответствующем выборе кода и способе обработки в таком канале можно существенно повысить помехоустойчивость. Лишний символ («стирание») широко используется в системах с обратной связью.

Для двоичного симметричного стационарного канала без памяти и стирания очень легко определяются вероятности сочетания ошибок произвольной кратности. Если обозначить вероятность ошибочного приема одиночного символа через p0, то вероятность того, что из п возможных e символов на приеме зарегистрировано ошибочно, определяется формулой Бернулли

p(e)= Ce pe	(1− p	0	)n−e	,	(5.5)
n 0

где Cne – биномиальный коэффициент, равный числу различных сочетаний e ошибок в блоке длиной п. При p0 <12 из (5.5) следует, что с ростом e вероятность p(e) уменьшается.

Таким образом, в рассматриваемом канале наиболее вероятными являются реализации, в которых все п символов приняты безошибочно, причем, если np0 << 1, это имеет место независимо от длины цепочки символов п. Эту модель называют также биномиальным каналом. Модель удовлетворительно описывает канал, возникающий при определенном выборе модема, если в непрерывном канале отсутствуют замирания, а аддитивный шум белый (или, по крайней мере, квазибелый).

Отклонение распределения ошибок от биномиального (канала без памяти) в реальных каналах вызывается различными причинами. Так, дискретным отображением большинства радиоканалов является канал с памятью вследствие замираний. Другой причиной могут являться атмосферные и взаимные помехи.

Простейшей моделью двоичного канала с памятью является марковская, определяемая матрицей переходных вероятностей:

1− Р		Р
P =	1	1		,	(5.6)
	Р2	1− Р2

где Р1 – условная вероятность принять (i + 1)-й символ ошибочно, если предыдущий принят правильно; 1 – Р1 – условная вероятность принять (i+1)-й символ правильно, если предыдущий принят правильно; Р2 – условная вероятность принять (i+1)-й символ ошибочно, если предыдущий принят ошибочно; 1 – Р2 – условная вероятность принять (i+1)-й символ правильно, если предыдущий принят ошибочно.

Безусловная (средняя) вероятность ошибки в рассматриваемом канале р должна удовлетворять уравнению

85

p = P2P(iошиб )+ P1P(iправ )= P2 p + P1(1− p),

откуда

p =	P1		.
	1+ P − P
	1	2

Эта модель очень проста для использования, однако она весьма неточно воспроизводит свойства реальных каналов.

Несколько более успешно для дискретного канала с памятью используется модель Гильберта. Согласно этой модели, канал может находиться в двух состояниях – S1 и S2. В состоянии S1 ошибок не происходит, в состоянии S2 ошибки возникают независимо с вероятностью р2. Переходы из одного состояния в другое образуют простую марковскую цепь с матрицей переходов:

1− P(S

S )

P(S

S )

S =

2

1

2

1

,

P(S1

S2 )

1− P(S1

S2 )

где P(S2|S1) – вероятность перехода из состояния S1 в S2; P(S1|S2) – вероятность перехода из состояния S2 в S1.

Вероятности нахождения канала в состоянии S1 и S2 соответственно:

P(S1)=

P(S1

S2 )

;

P(S2 )=

P(S2

S1)

.

P(S

S

2

)+

P(S

2

S )

P(S

S

2

)+

P(S

2

S )

1

1

1

1

Безусловная вероятность ошибки

p = p2P(S2 ).

При использовании модели Гильберта обычно полагают р2 = 0,5 (т. е. это состояние рассматривается как полный обрыв связи). Это хорошо согласуется с представлением о канале, в котором на некоторых временных интервалах из-за плохих условий прохождения или действия мощных помех связь «пропадает», или с представлением о проводном канале на интервале, где действуют сильные коммутационные помехи или всплески импульсных помех.

Относительно простую модель дискретного канала с группированием ошибок (с памятью) предложил Л.П. Пуртов. В этой модели лишь два параметра: вероятность ошибок р и показатель группирования ά. В модели Пуртова зависимость вероятности Р[≥ 1, n] появления искаженной комбинации (с числом искаженных элементов ≥1) длины п характеризуется как отношение числа искаженных комбинаций Nиск(п) к общему числу переданных комбинаций N(n):

86

P[≥1,n] = lim	Nиск(n)	.
			(5.7)
n→∞	N(n)

Вероятность P[≥1, n] является неубывающей функцией от п. Согласно модели Пуртова

P[≥1, n] ≈ n1–αp.

Если α = 0, то Р[≥1, n] ≈ np, что соответствует биномиальной модели (дискретному каналу без памяти). В этом случае нет пакетирования (группирования) ошибок.

Наибольшее значение α (от 0,5 до 0,7) наблюдается на кабельных линиях связи (кратковременное прерывание связи). В радиорелейных линиях (где бывают интервалы с большой интенсивностью ошибок и интервалы с редкими ошибками) α = 0,3…0,5; для некоторых линий коротковолновой радиосвязи α = 0,3…0,4.

В дискретных каналах, помимо ошибочного приема символов и стираний, возможна еще одна разновидность искажений, связанная с нарушением взаимного тактового синхронизма (системы синхронизации) переданных и принятых символов (проблемы тактовой синхронизации изучаются в специальных курсах).

Количество символов ν, передаваемых в среднем по дискретному каналу, чаще всего устанавливается с учетом ширины полосы пропускания Fк непрерывного канала, который является составной частью дискретного (согласно теореме Котельникова непрерывный сигнал длительности Т с полосой частот 0 – Fк описывается 2FкT отсчетами).

87

6. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ СВЯЗИ

6.1. Основные определения теории информации

Количественная мера информации. Из определения информации как совокупности неизвестных для получателя сведений следует, что в общем случае дать оценку количества информации довольно затруднительно, так как всякое подлежащее передаче сообщение имеет свое содержание, свой смысл и определенную ценность для получателя. Одно и то же сообщение может давать одному получателю много информации, другому мало. Однако содержательная сторона сообщений несущественна для теории и техники связи и поэтому не учитывается при определении количественной меры информации.

В основу измерения количества информации положены вероятностные характеристики передаваемых сообщений, которые не связаны с конкретным содержанием сообщений, а отражают степень их неопределенности (неожиданности). Естественно, что чем меньше вероятность сообщения, тем больше информации оно несет. Так, о маловероятном сообщении говорят: «Вот это новость!», т. е. полученное огромное количество информации получателем не может быть сразу воспринято и осознано.

Следовательно, количество информации I(аi) в отдельно взятом сообщении аi определяется величиной, обратной вероятности сообщения

P(ai) и вычисляется в логарифмических единицах:
I(ai) = logb(1/P(ai)) = –logbP(ai).	(6.1)

Логарифмическая мера, впервые предложенная в 1928 г. английским ученым Р. Хартли, обладает свойством аддитивности, что соответствует нашим интуитивным представлениям об информации (сведения, полученные от двух источников, складываются). Кроме того, при P(ai) = 1 количество информации, вычисленное по (6.1), равно нулю, что соответствует принятому определению информации (сообщение об известном событии никакой информации не несет).

Если источник выдает зависимые сообщения ai = f(a1, ..., am), то они характеризуются условными вероятностями P(ai/a1, ..., am). И в этом случае количество информации вычисляется по формуле (6.1) с подстановкой в нее условных вероятностей сообщений.

Единицы измерения количества информации. Выбор основания логарифмов в формуле (6.1) определяет единицы измерения количества информации. При использовании десятичного логарифма (b = 10) информация измеряется в десятичных единицах – дитах. В случае использования

88

натуральных логарифмов единицей измерения является натуральная единица – нат.

Более удобно в системах, работающих с двоичными кодами (ЭВМ, системы связи и др.), использовать основание логарифма b = 2, и тогда информация измеряется в двоичных единицах – дв. ед. Весьма часто вместо двоичных единиц используется эквивалентное название – бит (bit), возникшее как сокращенная запись английских слов binary digit (двоичная цифра). Следовательно, при P(ai) = 0,5I(аi) = –log2 0,5 = 1 бит, т. е. 1 бит – это количество информации, которое передается сообщением, вероятность которого Р(ai) = 0,5.

В настоящее время термин «бит» в информатике и вычислительной технике употребляется не только как единица количества информации, но и для обозначения числа двоичных символов 0 и 1, поскольку они обычно равновероятны, и каждый из них несет 1 бит информации.

Например, нужно определить количество информации в слове русского текста из n = 8 букв. Для упрощения расчетов будем считать, что буквы равновероятны и следуют независимо.

Для равновероятных букв вероятность одной буквы Р(ai) = 1/М=1/32 (примем, что в русском алфавите M = 32), и в одной букве, согласно (6.1), содержится I(ai) = –log2 1/32 = 5 бит информации. Буквы следуют независимо, поэтому количество информации в слове из n = 8 букв

n

Iсл = ∑I(ai ) = n I(ai ) = 8 5 = 40бит.

i=1

6.2.Характеристики источников сообщений

Энтропия источника. Большинство реальных источников выдают сообщения с различными вероятностями. Например, в тексте буквы А, Е, О встречаются сравнительно часто, а Щ, Ы, Ъ – редко. При разных вероятностях сообщения несут различное количество информации I(ai). При решении большинства практических задач необходимо знать среднее количество информации, приходящееся на одно сообщение. Это среднее количество информации согласно (6.2) при общем числе сообщений источника М равно:

M	M
M[I(ai )] = ∑P(ai )I(ai ) = −∑P(ai )log2 P(ai ) = H(A) .		(6.2)
i=1	i=1

Полученная величина Н(А) получила название энтропия источника сообщений, единицы измерения – бит/сообщение.

Термин «энтропия» заимствован из термодинамики, где выражение, аналогичное (6.2), характеризует среднюю неопределенность состояния системы молекул вещества. В теории информации этот термин и способ

89

вычисления (6.2) введен в 1948 г. американским ученым К. Шенноном, а далее более строго определен советскими математиками А.Я. Хинчиным

иА.Н. Колмогоровым. Физически энтропия Н(А) выражает среднюю неопределенность состояния источника сообщений и является объективной информационной характеристикой источника. Энтропия всегда положительна и принимает максимальное значение Hmax(A) = log2M при равновероятных сообщениях.

Для источника с зависимыми сообщениями энтропия также вычисляется как математическое ожидание количества информации этих сообщений. Следует отметить, что полученное в этом случае значение энтропии меньше, чем источника независимых сообщений. Это физически следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия. Так, в тексте после сочетания «чт» вероятнее всего, что третьей буквой будет «о»

ималовероятно появление в качестве третьей буквы «ж» или «ъ». В среднем сочетание «что» несет меньше информации, чем эти буквы в от-

дельности.

Избыточность источника. Под избыточностью всегда понимают что-то лишнее (ненужное). Что же избыточное (лишнее) имеется в источнике, выдающем какую-то информацию? Избыточными в источнике считаются сообщения, которые несут малое, а иногда и нулевое, количество информации. Время на их передачу тратится, а информации передается мало. Наличие избыточности означает, что часть сообщений можно и не передавать по каналу связи, а восстановить на приеме по известным статистическим связям. Так и поступают при передаче телеграмм, когда исключают из текста телеграммы союзы, предлоги, знаки препинания, поскольку они легко восстанавливаются по смыслу телеграммы на основании известных правил построения фаз. Количественно избыточность оценивается коэффициентом избыточности Χ:

X =	Hmax (A) − H(A)	=1−	H(A)	,	(6.3)
	Hmax (A)		Hmax (A)

где Н(А) – энтропия источника, вычисленная на основе учета статистических характеристик сообщений; Hmax(A) = log2M – максимальная энтропия источника из М сообщений. Основными причинами избыточности являются: 1) различные вероятности отдельных сообщений; 2) наличие статистических связей между сообщениями источника.

Избыточность при передаче сообщений имеет свои положительные и отрицательные стороны. Увеличение избыточности приводит к увеличению времени передачи сообщений, излишней загрузке каналов связи. В заданный промежуток времени в канале передается меньшее количество