интересно
Предыдущая | Содержание | Следующая

Понятие неопределённости

Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести, количественную меру, названную энтропией. Начнем с простейшего варианта – со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта почти наверняка является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться.

Для характеристики размытости распределений широко используются второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.

Энтроп ия и ее свойства

с

величину

). Этот функционал обладает следующими свойствами:

равно единице (а остальные - нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна.

есть в случае максимальной неопределенности.

Если A и B - независимые случайные объекты, то H (A∩B) = H (A) + H(B)

Если A и B - зависимые случайные объекты, то

условная энтропия H(ВА) определяется как математическое ожидание энтропии условного распределения.

, что согласуется с интуитивным представлением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.