Предыдущий уровень изложения текущего раздела   Текущий уровень изложения предыдущего раздела   Текущий уровень изложения следующего раздела   Первый уровень изложения следующего раздела   Уровень: Глоссарии:


Об определении термина информация

Информация и энтропия

Покажем, что формула Шеннона

(1)
похожа на выражение для энтропии

Представим в формуле (1) параметры N! и Ni! Согласно формуле Стирлинга

ln(N!)~N*ln(N/e).

После преобразований получим

.

Энтропия на одну молекулу Si = S/N следует из последней формулы

, Wi=Ni/N. (2)

Рассмотрим, чем вызвано сходство выражений для информации (1) и энтропии (2). Энтропия - мера неупорядоченности, мера недостатка информации в системе. Это видно из следующего примера: при замораживании воды энтропия убывает, но возрастает информация о нахождении молекулы в узлах кристаллической решетки. Но при охлаждении жидкости повышается температура и энтропия холодильника, т. е. второе начало термодинамики выполняется. Из этого следует, что каждый бит информации имеет энтропийную цену. Для перехода от формулы (1) к формуле (2) надо умножить информацию на

Si=Ii k ln2 ~ 10-23Дж/К

В термодинамических единицах бит стоит очень дешево.

Оценим, сколько бит содержится в человеческой культуре. За время существования человечества написано примерно 108 книг, объемом в 25 листов каждая, лист содержит 4*104 знаков. Пусть каждый знак содержит информацию в 5 бит, тогда 108 книг содержат информацию 5*1014 бит, что эквивалентно понижению энтропии на 5*10-9Дж/К.

Изменение энтропии во много раз превышает количество полученной информации. При бросании монеты получается 1 бит информации, но какой величины эта монета и какая мышечная работа затрачивается на бросание, не принимается во внимание. Монета может быть очень маленькой или очень большой (величиной с Монблан), а информация одна и та же. Поэтому приведенная выше оценка содержания книг в единицах Дж/К лишена смысла.

Итак, за получение информации приходится платить повышением энтропии. Минимальная работа А осуществляется при возникновении флуктуации, но при этом происходит и изменение информации на величину I. Показано, что минимальная энергетическая стоимость 1 бита информации определяется зависимостью

.

Следовательно, минимальная энергетическая стоимость одного бита информации при Т = 300 К, вычисленная по последней формуле равна 2*10-21 Дж/К.