|
|
|
|
|
|
||
Определим с помощью соотношения (14) пропускную способность реального двоичного симметричного канала без памяти. Предположим, что известна вероятность 
появления ошибки в канале.
Определим значение 
. Для двоичного канала 
Условная энтропия 
- это энтропия помехи, которая определяется по формуле условной энтропии двоичного источника с коррелированным неравновероятными символами:
(23)
Подставив значения условных вероятностей появления ошибок, получим
Так как по условию нормировки сумма вероятностей в первом сомножителе равна единице, то
(24)
Пропускная способность двоичного реального канала
(25)
Анализ зависимости 
показывает, что в диапазоне изменений 
функция является монотонно убывающей. При 
, это означает, что из-за высокого уровня помех в канале кодовые сигналы на входе и на выходе канала становятся независимыми (принимаемые сигналы не несут информации о передаваемых).
Пропускную способность m-ичного реального канала определяют аналогично
(26)
Из (26) как частный случай следует (25) при 
Если 
, то пропускная способность реального канала стремится к пропускной способности идеального канала (4).
Средняя длина кодовых комбинаций в двоичном и m-ичном реальных каналах определяется неравенством (19):
(27)
Следовательно, минимальная средняя длина кодовых комбинаций в реальных каналах определяется энтропией источника, основанием кода и вероятностью появления ошибки в канале при передаче одного кодового сигнала.
Избыточность двоичного кода (см. (22)):
, (28)
избыточность многопозиционного кода
