интересно
Предыдущая | Содержание | Следующая

Количество информации как мера соответствия случайных объектов

Формулам (7.9) и (7.10) легко придать симметричность: умножив и разделив логарифмируемое выражение в (7.9) на p(yk ), а в (7.10) на р ( х i ), получим:

Эту симметрию можно интерпретировать так: количество информации в объекте X об объекте Y равно количеству информации в объекте Y об объекте X Т аким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями.

Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле (7.11), есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия.

Формула (7.11) обобщается на непрерывные случайные величины, если в соотношения (7.7) и (7.8) вместо H подставить дифференциальную энтропию h :

р (у) и р (х,у ) соответствующие плотности вероятностей.