интересно
Предыдущая | Содержание | Следующая

Количество информации в индивидуальных событиях

. Однако в ряде практических

случаев оказывается необходимым рассмотреть информационное описание конкретной пары состояний, оценить содержание информации в конкретной реализации сигнала. Тот факт, что некоторые сигналы несут информации намного больше, чем другие, виден на примере того, как отбираются новости средствами массовой информации (скажем, все радиостанции и газеты сообщают о рождении шестерых близнецов где-то в Африке, но рождение двойни уже не так интересует людей).

, естественно потребовать, чтобы индивидуальное и

среднее количества информации удовлетворяли соотношению

Хотя равенство сумм имеет место не только при равенстве всех слагаемых, сравнение формул (7.13) и, например, (7.10) наталкивает на мысль, что мерой индивидуальной информации в дискретном случае может служить величина

называемая информационной плотностью. Свойства этих величин согласуются с интуитивными представлениями (в том числе и возможная отрицательность при положительности в среднем) и, кроме того, доказана единственность меры, обладающей указанными свойствами. Полезность введения понятия индивидуального количества информации проиллюстрируем на следующем примере.

требуется

К ак обработать выборку? Из теории известно, что никакая обработка не может увеличить количества информации, содержащегося в выборке х (см. формулу (7.12)). Следовательно, выборке х нужно поставить в соответствие число, содержащее всю полезную информацию, то есть обработать выборку без потерь. Возникает мысль о том, чтобы вычислить индивидуальные количества информации в выборке х о каждой из гипотез и сравнить их:

.

Какой из гипотез отдать предпочтение, зависит теперь от величины ∆i и от того, какой порог сравнения мы назначим. Оказывается, что мы получили статистическую процедуру, оптимальность которой специально доказывается в математической статистике. Данный пример иллюстрирует эвристическую силу теоретико-информационных представлений.

Вывод. Главным результатом данного параграфа является открытие К.Шэнноном возможности количественного описания информационных процессов в системах и получение им формулы для количества информации.