	Уровень:

Определение количества информации

Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как

Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы появляются с различными вероятностями , поэтому

Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита

. (1)

Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона.

Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.

Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:

Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.

Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).

Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:

Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии

, (2)

где - условная вероятность появления символа после символа .

Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ. Эти потери информации характеризуются коэффициентом избыточности

- максимальное количество информации, которое может переносить один символ, H - количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков ).

Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit).

Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно

[бит/с].

Для каналов передачи информации вводят аналогичную характеристику - скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала

[бит/с], (3)

где V- скорость передачи электрических кодовых сигналов.