- •Часть 1
- •Раздел 1. Элементы общей теории сигналов
- •1.1 Классификация сигналов
- •1.2. Некоторые элементы функционального анализа сигналов
- •1.3 Основы теории ортогональных сигналов
- •Раздел 2. Спектральные представления сигналов
- •2.1. Понятие о спектре периодических и непериодических сигналов
- •2.2 Спектральное представление периодических сигналов
- •2.3 Спектральное представление непериодических сигналов
- •2.4 Теоремы о спектрах
- •2.5 Спектральные представления сигналов с использованием негармонических функций
- •Раздел 3. Сигналы с ограниченным спектром
- •3.1. Некоторые математические модели сигналов с ограниченным спектром
- •3.2 Теорема Котельникова
- •3.3. Узкополосные сигналы
- •3.4. Аналитический сигнал и преобразования Гильберта
- •Раздел 4. Основы корреляционного анализа сигналов
- •4.1. Взаимная спектральная плотность сигналов. Энергетический спектр
- •4.2. Автокорреляционная функция сигналов
- •4.3. Акф дискретного сигнала
- •4.4. Взаимокорреляционная функция двух сигналов
- •Раздел 5. Модулированные сигналы
- •5.1. Сигналы с амплитудной модуляцией
- •5.2 Сигналы с угловой модуляцией
- •5.3. Дискретные формы угловой модуляции
- •5.4 Сигналы с импульсной модуляцией
- •Раздел 6. Основы теории случайных процессов
- •6.1. Случайные процессы. Основные понятия и определения
- •6.2. Характеристики случайных процессов
- •6.3. Моментные функции случайных процессов
- •6.4. Свойства случайных процессов
- •6.5. Функция корреляции двух случайных процессов
- •6.6. Измерение характеристик случайных процессов
- •6.7. Спектральное представление стационарных случайных процессов. Теорема Винера-Хинчина
- •6.8 Типовые модели случайных сигналов
- •6.9 Узкополосные случайные сигналы
- •Раздел 7. Основные элементы цифровой обработки сигналов
- •7.1. Дискретное преобразование Фурье
- •7.2. Быстрое преобразование Фурье
- •Раздел 1.Каналы электросвязи
- •Тема1.1 Общие сведения о каналах электросвязи и их классификация
- •1.2 Математические модели каналов электросвязи
- •1.2.1 Математические модели непрерывных каналов связи
- •1.2.2 Математические модели дискретных каналов связи
- •Раздел 2 Основные положения теории передачи информации
- •2.1 Информационные параметры сообщений и сигналов
- •2.2 Взаимная информация
- •Эффективное кодирование дискретных сообщений
- •Тема 2.4. Информация в непрерывных сигналах
- •Тема 2.5. Пропускная способность канала связи
- •Тема 2.6. Теорема к. Шеннона
- •Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
- •Раздел 3. Оптимальный приём дискретных сообщений
- •Тема 3.1. Постановка задачи оптимального приёма дискретных сообщений как статистической задачи. Понятие помехоустойчивости
- •3.2. Элементы теории решений
- •3.3. Критерии качества оптимального приёмника
- •3.4 Алгоритм оптимального приёма при полностью известных сигналах. Когерентный приём
- •3.5 Структурное построение оптимального приёмника
- •3.6 Реализация алгоритма оптимального приёма на основе согласованных фильтров. Свойства согласованного фильтра
- •3.8 Потенциальная помехоустойчивость систем с различными видами манипуляции
- •3.9 Приём сигналов с неопределённой фазой (некогерентный приём)
Тема 2.4. Информация в непрерывных сигналах
Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть - случайная величина (сечение или отсчёт случайного сигнала), определённая в некоторой непрерывной области, и её распределение вероятностей характеризуется плотностью .
Разобьём область значений на небольшие интервалы протяжённостью . Вероятность того, что лежит в интервале , + , то есть , приблизительно равна , причём приближение тем точнее, чем меньше интервал . Степень неожиданности такого события равна . Если значения в пределах конечного интервала заменить значениями в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как:
Будем теперь увеличивать точность определения значения , уменьшая интервал . В пределе, при должна получиться энтропия непрерывной случайной величины:
(2.19)
Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей . Это значение , что собственная информация любой непрерывной случайной величины бесконечно велика. Тем не менее, взаимная информация между двумя непрерывными ансамблями, как правило, остаётся конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передаётся с конечной скоростью.
Обратим внимание на первый член в данной формуле. Он является конечным и определяется плотностью распределения вероятности . Его называют дифференциальной энтропией и обозначают :
(2.20)
Попытаемся теперь определить взаимную информацию между двумя непрерывными случайными величинами и . Разбив области определения и соответственно на небольшие интервалы и , заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы . Исходя из этого выражения можно определить взаимную информацию между непрерывными величинами и :
(2.21)
При этом никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований её можно представить и в таком виде:
(2.22)
Здесь - определённая ранее дифференциальная энтропия , а - условная дифференциальная энтропия. Легко убедиться, что основные свойства взаимной информации остаются справедливыми и в данном случае.
В качестве примера найдём дифференциальную энтропию случайной величины с нормальным распределением вероятности:
, (2.23)
где математическое ожидание, а - дисперсия .
Подставив (2.23) в (2.20), найдём:
Первый интеграл по общему свойству плотности вероятности равен 1, а второй – по определению дисперсии равен . Окончательно
(2.24)
Таким образом, диффиринциал энтропия гауссовский случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.
В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин с одинаковой дисперсией наибольшую дифференциальную энтропию имеет величина с нормальным распределением.