|
|
|
|
|
|
||
Рассмотрим свойства условной энтропии с учётом неравновероятного появления символов и статистической взаимосвязи между ними.
Примем для простоты, что появление символа 
связано только с тем, какой был предыдущий символ 
(процесс формирования сообщений - простая цепь Маркова). Энтропия совместного появления двух символов
, (4)
где 
- вероятность совместного появления символов 
и 
. Количество информации, которое приходится на слог 
равно 
.
Учитывая, что
,
запишем
(5)
Учитывая условие нормировки
,
перепишем последнее выражение для энтропии совместного появления двух символов в форме
, (6)
где H(A) - энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5), 
- условная энтропия источника, определяемая выражением (2).
Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился.
Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:
.
Если символы и 
взаимозависимы, то 
. Для источников с независимыми символами
.
Корреляционные связи могут существовать между (L+1) символами, тогда источник имеет память на L символов.