Введение в анализ, синтез и моделирование систем


              

сколько бит информации несет произвольное


Пример. Выясним, сколько бит информации несет произвольное двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения, т.е. каждая из возможных цифр может появиться на данном месте, в данном разряде с одинаковой вероятностью). Так как таких чисел может быть всего 90 (10-99), то информации будет количество I=log290 или приблизительно I=6,5. Так как в таких числах значащая первая цифра имеет 9 значений (1-9), а вторая - 10 значений (0-9), то I=log290=log29+log210. Приблизительное значение log210 равно 3,32. Итак, сообщение в одну десятичную единицу несет в себе в 3,32 больше информации, чем в одну двоичную единицу (чем log22=1), а вторая цифра, например, в числе аа, несет в себе больше информации, чем первая (если цифры а обоих разрядов неизвестны; если же эти цифры а известны, то выбора нет и информация равна нулю).

Если в формуле Шеннона обозначить fi=-nlog2 pi, то получим, что I можно понимать как среднеарифметическое величин fi.

Отсюда, fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении, передающем информацию.

Пример. Пусть рассматривается алфавит из двух символов русского языка - "к" и "а". Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв "к" и m (k+m=N) букв "а" над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log2n=lnn/ln2=log2e[lnN!-lnk!-lnm!]. Используя известную формулу Стирлинга (эта формула, как известно из математического анализа, достаточно точна при больших N, например, при N>100) - N!?(N/e)N), а точнее, ее важное следствие, - lnN!?N(lnN-1), получаем оценку количества информации (в битах) на 1 символ любого слова:

I1=I/N?(log2e/N)[(k+m)(lnN -1) - k(ln k-1) - m(ln m-1)]= =(log2e/N)[k ln(N/k) - m ln(N/m)]= = - log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]
-log2e [p1 ln p1+p2 ln p2]= =-log2e[0,028 ln0,028+0,062 ln0,062]? 0,235.Пример.

Содержание  Назад  Вперед