Введение в анализ, синтез и моделирование систем
из всех возможных) сообщений. Число
В сообщении 4 буквы "a", 2 буквы "б", 1 буква "и", 6 букв "р". Определим количество информации в одном таком ( из всех возможных) сообщений. Число N различных сообщений длиной 13 букв будет равно величине: N=13!/(4!?2!?1!?6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log2(N)=log2180180?18 (бит).
Если k - коэффициент Больцмана, известный в физике как k=1.38?10-16 эрг/град, то выражение
в термодинамике известно как энтропия, или мера хаоса, беспорядка в системе. Сравнивая выражения I и S, видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).
Л. Больцман дал статистическое определение энтропии в 1877 г. и заметил, что энтропия характеризует недостающую информацию. Спустя 70 лет, К. Шеннон сформулировал постулаты теории информации, а затем было замечено, что формула Больцмана инвариантна информационной энтропии, и была выявлена их системная связь, системность этих фундаментальных понятий.
Важно отметить следующее.
Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией:
I+S(log2e)/k=const или в дифференциальной форме
dI/dt= -((log2e)/k)dS/dt.При переходе от состояния S1 с информацией I1 к состоянию S2 с информацией I2 возможны случаи:
- S1 < S2 (I1 >I2) - уничтожение (уменьшение) старой информации в системе;
- S1 = S2 (I1 = I2) - сохранение информации в системе;
- S1 > S2 (I1 < I2) - рождение новой (увеличение) информации в системе.
