Уровень: Основной текст

Введение

Информационные характеристики сообщений, как было показано, определяются на основе их вероятностных характеристик.

Рассмотрим понятие энтропии в обобщенном виде.

Пусть  - совокупность дискретных отсчётов случайного процесса  в точках  , где  -  - векторы-столбцы, компоненты которых являются случайными величинами - значениями N случайных функций, т.е. реализаций случайного процесса  , в сечениях  (рис. 1.5).

Пусть  - совместная вероятность значений отсчётов. Совокупность возможных значений дискретных отсчетов  при квантовании по уровню можно рассматривать как "алфавит", из которого выбирают "символы" (конкретные дискретные значения отсчётов). Если "объём алфавита" равен m, то это означает, что отсчёты квантованы по m уровням. Каждое значение сигнала  , представляет собой символ  . Тогда, по определению, энтропия отсчётов процесса равна

(10)

Формула (10) в принципе позволяет рассчитать, хороша ли система передачи информации или нет (в битах на символ), но из формулы не следуют непосредственные рекомендации, как улучшить эту систему. Физическими носителями информации являются сигналы, их значения, а не вероятности. Поэтому ясно, что именно свойства сигналов должны влиять на эффективность передачи информации.

Рассмотрим сущность этого влияния подробнее.

Для полной совокупности дискретных отсчётов  можно вычислить корреляционную матрицу

, (11)

где  скобки  обозначают усреднение по ансамблю реализаций.

Рис. 1.5. Реализации  и сечения в точках 
случайного процесса ; реализации  , при квантовании принимают
одно из m возможных значений.

В теории стационарных случайных процессов одной из основополагающих является теорема Винера-Хинчина, устанавливающая взаимосвязь корреляционной функции R( ), где - интервал, на котором вычисляется статистическая взаимосвязь значений сигнала, и спектральной плотности G(u) сигнала, зависящей от частоты u, в форме

,

где F{· } - оператор преобразования Фурье.

Таким образом, можно заключить, что спектральная плотность мощности (т.е. распределение мощностисигнала по частотам) характеризует корреляционную функцию, для дискретных процессов - корреляционную матрицу (11).

В свою очередь, можно показать, что корреляционная матрица полностью определяет совместную вероятность значений совокупности отсчётов гауссовского процесса. При известной совместной вероятности можно вычислить энтропию (10).

Такие рассуждения позволяют выполнить математические преобразования и получить формулу, связывающую энтропию отсчётов гауссовского процесса и спектральную плотность, а именно

, (12)

где  - значения спектральной плотности для значений частоты .

Замечания:

1. В последней формуле подразумевается, что вся мощность сигнала сосредоточена на частотах  (что характерно, например, для случайных сигналов в виде суммы периодических сигналов).



2. Следует различать понятие спектра мощности и амплитудного спектра. Последнее понятие используется для анализа детерминированных сигналов в частотной области. Эти две величины, как будет показано далее, имеют разные физические размерности.