интересно
Предыдущая | Содержание | Следующая

Дифференциальная энтропия

случайные величины невозможно, так как прямая аналогия

не приводит к нужному результату: плотность p(x ) является размерной величиной (размерность плотности p(x ) обратна размерности x , так как элемент вероятности dP (x ) =p(x )dx безразмерен), а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив р ( х ) под знаком логарифма на величину λ , имеющую ту же размерность, что и x :

Если величину λ принять равной единице измерения x , то получим функционал

в отличие от H(Х) может быть не

только положительной. Кроме того, h (X) изменяется при нелинейных преобразованиях шкалы x , что в дискретном случае не играет роли. Остальные свойства h ( X ) аналогичны свойствам H ( X ) .

Пусть, например, задача состоит в том, чтобы, зная лишь некоторые ограничения на случайную величину (типа моментов, пределов сверху и снизу, области возможных значений и т.п.), задать для дальнейших расчетов конкретное распределение. Одним из подходов к решению этой задачи дает принцип максимума энтропии: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией. Смысл этого критерия состоит в том, что, выбирая экстремальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, то есть имеем дело с наихудшим случаем при данных условиях.