Последний уровень раздела предыдущего изложения   Текущий уровень изложения предыдущего раздела   Текущий уровень изложения следующего раздела   Первый уровень изложения следующего раздела   Уровень:


Свойства двоичных источников информации



Пусть символы источника есть  ,  (m = 2), вероятности их появления  , . Условные вероятности обозначим  ,  ,  ,  .

Случай независимых равновероятных символов

Вероятности  , условные вероятности равны нулю. Энтропия такого источника максимальна:

.

Таким образом, 1 бит - это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений.

Случай независимых неравновероятных символов

Вероятности  условные вероятности равны нулю. Энтропия такого источника равна

. (7)

Зависимость (7) показана на рис. 1.4. Максимум энтропии достигается при  . Поскольку  при  , то производительность такого источника меньше максимальной. Избыточность



Пример: Пусть  Тогда





Рис. 1.4. Энтропия двоичного источника сообщений
с неравновероятными символами

Случай коррелированных равновероятных символов

Пусть , условные вероятности отличны от нуля и равны  . Условная энтропия с учетом соотношения (2) равна



Например, если  , то



При некоррелированных равновероятных символах двоичного источника энтропия равна  . Следовательно, наличие статистических связей между символами приводит к уменьшению энтропии и увеличению избыточности источника.

Задание: Получить выражение для энтропии и избыточности двоичного источника с коррелированными неравновероятными символами.

Указание:  Принять 

Записать формулу и найти  [бит/симв]. Сравнить со случаем некоррелированных равновероятных символов.