Предыдущий уровень изложения текущего раздела   Текущий уровень изложения предыдущего раздела   Текущий уровень изложения следующего раздела   Следующий уровень изложения текущего раздела   Уровень: Глоссарии:


Мера информации по Шеннону

Формула Шеннона

В разделе 2.4 была приведена знаменитая формула Больцмана, определяющая связь энтропии со статистическим весом P системы

(1)
где N1, N2, ..., NM - число частиц в состояниях 1, 2, ..., M, а N - число всех возможных состояний
.

Вероятность Wi появления состояния i равна

, i= 1,2, ..., M, и .

Как уже отмечалось, в середине XX века (1948 г.) была создана теория информации, с появлением которой введенная Больцманом функция (1) пережила второе рождение. Американский инженер-связист Клод Шеннон предложил ввести меру количества информации I с помощью статистической формулы энтропии и взять за единицу информации I=1 :

I=log2(P). (2)
log2(2)=1 бит

Такая информация получается при бросании монеты (Р=2).

Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе записываются последовательностью нулей и единиц.

Пользуясь формулами (1) и (2), вычислим информацию, которая содержится в одном сообщении. Оно состоит из N букв языка, состоящего из М букв.

I = log2P= (3)

Преобразуем последнюю зависимость с помощью приближенной формулы Стирлинга

lnN! ~ Nln(N/e). (4)

Представим в формуле (3) параметры N! и Ni! в форме (4), получим

I = .

Выразим Ni через WiN, тогда последнее выражение примет вид

I = = = .

Перейдем к логарифму с основанием два

. (5)

Последняя формула позволяет количественно определить информацию I, которая есть в сообщении из N букв языка, содержащего М букв, а на одну букву приходится информация I1 = I/N, т. е.

. (6)

Величина (6) названа Шенноном энтропией.

Напомним, что выражение (1) для термодинамической энтропии после аналогичных преобразований можно представить в форме (5)

.

Подробнее о связи термодинамической и информационной энтропий