интересно
Предыдущая | Содержание | Следующая

Количество информации

В основе всей теории информации лежит открытие, что информация допускает количественную оценку. В простейшей форме эта идея была выдвинута еще в 1928 г. Б.Хартли, но завершенный и общий вид придал ей К.Шэннон в 1948 г.

Количество информации как мера снятой неопределённости

Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала. Проиллюстрируем это на примере, когда передача сигнала происходит при следующих условиях:

1) полезный (отправляемый) сигнал является последовательностью

принимаемый сигнал является последовательностью символов yk того же алфавита;

искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами.

(рис. 7.1). В этих условиях энтропия процесса есть

энтропия одного символа, и все сводится к рассмотрению посимвольного приема.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, то есть априорной энтропией H(Х). После получения символа yk неопределенность относительно того, какой символ был отправлен, меняется:

в случае отсутствия шума она вообще исчезает (апостериорная энтропия равна нулю, поскольку точно известно, что был передан символ xi = yk );

.

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е.

Количество информации можно определить как меру уменьшения неопределенности в результате получения сигнала. Это соответствует разности энтропии до и после приема сигнала.