интересно
Предыдущая | Содержание | Следующая

Единицы измерения энтропии и количества информации

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и H следует их безразмерность , а из линейности их связи - одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта:

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, то есть m = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства

, что

. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название бит. Бросание монеты дает количество информации в один бит. Другая единица (нит ) получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.