|
|
|
|
|
|
||
В реальных каналах всегда имеются ошибки при передаче сообщений. Ошибки приводят к уменьшению пропускной способности канала и потере информации. Вероятности появления ошибок во многом определяются искажениями сигналов и влиянием помех.
Количество информации, которое содержит принятый символ относительно переданного или в более общем случае один символ относительно другого находят с помощью формулы для вероятности совместного появления символов
(6)
где 
и 
- вероятности появления символов 
и 
, 
- условная вероятность.
Обозначим принятый кодовый символ 
, а переданный 
. Количество информации, которое содержит принятый символ 
относительно переданного 
определяется как
(7)
где 
- вероятность совместного появления символов 
; 
, 
- вероятности появления 
; 
, 
- соответствующие условные вероятности. Если символы появляются независимо, то 
. Во всех остальных случаях один символ несет информацию о другом и 
.
Среднее количество принятой информации, которое приносит один символ, получим, усредняя (7) по всем i и k, а именно
(8)
Учитывая две формы записи дроби (7), получим две формы записи для количества информации
(9)
(10)
Выражения (9) и (10) можно записать более наглядно:
(11)
(12)
Смысл выражений (11), (12) следующий. Величина 
- это энтропия кодера, а величина 
- это среднее количество информации, потерянное в канале из-за ошибок. Следовательно, соотношение (11) показывает, что среднее количество принятой в одном символе информации можно вычислить как разность энтропий принятого сигнала и помехи. Соотношение (12) используют чаще, так как оно позволяет определить 
через энтропию помехи, которую определить проще.
Скорость передачи информации в реальных каналах равна 
Используя две последние формулы, получим
(13)
Если ошибок нет, то 
и формула (13) переходит в формулу для идеального канала, когда 
Пропускная способность реальных дискретных каналов равна
(14)
где операция отыскания максимума выполняется по всем способам передачи и обработки сигналов.
Теорема Шеннона для реальных дискретных каналов (без доказательства): если производительность источника сообщений меньше пропускной способности канала, сообщение можно закодировать в сигналы так, чтобы передавать информацию по дискретному каналу с помехами со сколь угодно малой вероятностью ошибки.
Эта теорема является теоретической основой корректирующего кодирования. В ней утверждается, что существует такой код, использование которого позволит обнаружить и исправить практически все ошибки. Задача заключается в отыскании и построении таких кодов.