интересно
Предыдущая | Содержание | Следующая

Свойства количества информации

Отметим некоторые важные свойства количества информации.

Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно X

I(X, Y) = I(Y,X)

Количество информации неотрицательно:

I(X, Y)>0

Для дискретных Х справедливо равенство

I(X,X) = H (X)

Преобразование φ (*) одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:

(7.12)

При обработке данных содержащееся в них количество информации не может быть увеличено. Следовательно, обработка делается лишь для представления информации в более удобном, компактном виде и в лучшем случае без потери полезной информации.

Для независимых пар величин количество информации аддитивно:

Количество информации (в отличие от энтропии) имеет одинаковый смысл как для дискретных, так и для непрерывных случайных объектов.