|
|
|
|
|
|
||
Эффективное (статистическое) кодирование осуществляется с целью повышения скорости передачи информации и приближения её к пропускной способности канала.
Теорема Шеннона для эффективных кодов (без доказательства): для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений.
Корректирующее (помехоустойчивое) кодирование имеет целью повышение верности передачи информации путём обнаружения и исправления ошибок.
Теорема Шеннона для корректирующих кодов (без доказательства): для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно высокой степенью верности, если только производительность источника сообщений не превышает пропускной способности канала.
При кодировании каждый символ дискретного сообщения пронумеровывается, и передача сообщений сводится к передаче последовательности чисел.
Например, для передачи русских букв нужно передавать числа от 1 до 32.
Если основание системы счисления есть 
, то n - разрядное число X можно записать в виде полинома
(8)
где 
- целые числа, 
В двоичной системе, очевидно, 
= 0 или 1.
Кодом называется полная совокупность условных символов, которую применяют для кодирования сообщений. Число различных символов в коде называется основанием кода. Код с основанием 2 - бинарный, с другими основаниями - многопозиционный.
Пример:
Кодовая комбинация - это последовательность кодовых символов, соответствующих одному элементу (символу) дискретного сообщения, т.е. число, записанное в выбранной системе счисления.
Число символов в кодовой комбинации называется значностью кода.
Оператор кодирования показывает, какую кодовую комбинацию присваивают каждому элементу сообщения.
Если все кодовые комбинации содержат одинаковое число символов, код называют равномерным, в иных случаях - неравномерным.
Для равномерного кода общее число различных кодовых комбинаций равно 
где b - основание кода, n - значность кода.
Примеры:
Равномерный код Бодеb = 2, n = 5, N = 32.
Код Морзе - неравномерный (наиболее часто встречающиеся буквы кодируются наиболее короткими кодовыми комбинациями).