Введение в анализ, синтез и моделирование систем
Меры информации в системе - часть 6
В сообщении 4 буквы "a", 2 буквы "б", 1 буква "и", 6 букв "р". Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных сообщений длиной 13 букв будет равно величине: N=13!/(4!?2!?1!?6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log2(N)=log2180180?18 (бит).
Если k - коэффициент Больцмана, известный в физике как k=1.38?10-16 эрг/град, то выражение
в термодинамике известно как энтропия, или мера хаоса, беспорядка в системе. Сравнивая выражения I и S, видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).
Л. Больцман дал статистическое определение энтропии в 1877 г. и заметил, что энтропия характеризует недостающую информацию. Спустя 70 лет, К. Шеннон сформулировал постулаты теории информации, а затем было замечено, что формула Больцмана инвариантна информационной энтропии, и была выявлена их системная связь, системность этих фундаментальных понятий.
Важно отметить следующее.
Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией:
I+S(log2e)/k=constили в дифференциальной форме
dI/dt= -((log2e)/k)dS/dt.При переходе от состояния S1 с информацией I1 к состоянию S2 с информацией I2 возможны случаи:
- S1 < S2 (I1 >I2) - уничтожение (уменьшение) старой информации в системе;
- S1 = S2 (I1 = I2) - сохранение информации в системе;
- S1 > S2 (I1 < I2) - рождение новой (увеличение) информации в системе.
Главной положительной стороной формулы Шеннона является ее отвлеченность от семантических и качественных, индивидуальных свойств системы. В отличие от формулы Хартли, она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основной отрицательной стороной формулы Шеннона является то, что она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.