4.5. Эпсилон-производительность источника

Если источник выдает независимые отсчеты сигнала Х(t) в дискретные моменты времени со скоростью , где интервал дискретизации ( – полоса частот сигнала X(t)), то эпсилон-производительность источника (эпсилон-энтропия, приходящаяся на единицу времени)

(4.11)

Если время непрерывное, то

(4.12)

Максимальное значение эпсилон-производительность источника имеет, когда сигнал X(t) является гауссовским (4.19):

(4.13)

(4.14)

За время Т существования сигнала максимальный объем V информации, выданной источником, составит

(4.15)

Объем сигнала – это максимальное количество информации, которое сигнал может переносить.

4.6. Дифференциальная энтропия

Источники информации, множество возможных состояний которых составляют континуум, называют непрерывными.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передаётся и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телеизмерений с частотным разделением сигналов.

Основные информационные характеристики источников непрерывных сообщений следующие: энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объём информации.

Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы для энтропии дискретного источника. С этой целью разобьём диапазон изменения непрерывной случайной величины Х, характеризующейся плотностью распределения вероятностей W(X), на конечное число m малых интервалов шириной Δx.

При реализации любого значения х, принадлежащего интервалу [x_i, x_i+Δx], будем считать, что реализовалось значение x_i дискретной случайной величины Х. Поскольку Δx мало, то вероятность реализации значениях из интервала [x_i, x_i+Δx], равна

Тогда энтропия дискретной случайной величины X может быть записана в виде

так как .

По мере уменьшения все больше приближается к вероятности P(x_i), равной нулю, а свойства дискретной величины – к свойствам непрерывной случайной величины Х.

В результате предельного перехода при получено

(4.16)

Первый член выражения (4.16) зависит только от закона распределения непрерывной случайной величины Х и имеет такую же структуру, как энтропия дискретного источника. Второй член стремится к бесконечности, это полностью соответствует интуитивному представлению о том, что неопределенность выбора из бесконечно большого числа возможных состояний (значений) бесконечно велика.

Рис. 4.6. Зависимость плотности распределения вероятностей случайной величины

Чтобы избавить теорию от бесконечности, имеется единственная возможность – ввести относительную меру неопределенности исследуемой непрерывной случайной величины Х по отношению к заданной Х₀ . В качестве заданной величины Х0 возьмем непрерывную случайную величину, равномерно распределенную на интервале с шириной . Тогда её плотность вероятности W(X₀) = 1/е, а энтропия

Положив для простоты записи = 1, составим разность

(4.17)

которая показывает, насколько неопределенность непрерывной случайной величины Х с законом распределения W(X) больше [ ] или меньше неопределенности случайной величины, распределенной равномерно на интервале = 1. Поэтому величину

(4.18)

называют относительной дифференциальной энтропией или просто дифференциальной энтропией непрерывного источника информации (непрерывного распределения случайной величины Х). В отличие от энтропии источников дискретных сообщений может принимать положительные, отрицательные и нулевые значения. Величиной можно характеризовать информационные свойства источников непрерывных сообщений.

Аналогично, используя операции квантования и предельного перехода, найдем выражение для условной энтропии непрерывного источника сообщений.

(4.19)

Обозначим первый член через

(4.20)

Эта величина конечна и называется относительной дифференциальной условной энтропией, или просто дифференциальной условной энтропией непрерывного источника. Она характеризует неопределенность выбора непрерывной случайной величины Х при условии, что известны результаты реализации значений другой статистически связанной с ней непрерывной случайной величины Y, и по сравнению со средней неопределенностью выбора случайной величины Х₀, изменяющейся в диапазоне, равном единице, и имеющей равномерное распределение вероятностей.