Если k - коэффициент Больцмана, известный в физике как k=1.38?10-16 эрг/град, то выражение
в термодинамике известно как энтропия, или мера хаоса, беспорядка в системе. Сравнивая выражения I и S, видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).
Л. Больцман дал статистическое определение энтропии в 1877 г. и заметил, что энтропия характеризует недостающую информацию. Спустя 70 лет, К. Шеннон сформулировал постулаты теории информации, а затем было замечено, что формула Больцмана инвариантна информационной энтропии, и была выявлена их системная связь, системность этих фундаментальных понятий.
Важно отметить следующее.
Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией:
I+S(log2e)/k=constили в дифференциальной форме
dI/dt= -((log2e)/k)dS/dt.При переходе от состояния S1 с информацией I1 к состоянию S2 с информацией I2 возможны случаи:
Главной положительной стороной формулы Шеннона является ее отвлеченность от семантических и качественных, индивидуальных свойств системы. В отличие от формулы Хартли, она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основной отрицательной стороной формулы Шеннона является то, что она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.