интересно
Предыдущая | Содержание | Следующая

Фундаментальное свойство энтропии случайного процесса

Особое значение энтропия приобретает в связи с тем, что она связана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.

Назовем каждое такое состояние символом, множество возможных состояний - алфавитом, их число m - объемом алфавита. Число всех возможных последовательностей, очевидно, равно mn . Появление конкретной последовательности можно рассматривать как реализацию одного из т n возможных событий. Зная вероятности символов и условные вероятности появления следующего символа, если известен предыдущий (в случае их зависимости), можно вычислить вероятность P(C) для каждой последовательности С. Тогда энтропия множества {С}, по определению, равна

Определим энтропию процесса H (среднюю неопределенность, приходящуюся на один символ) как:

, которая

с помощью соотношения

ожидание этой функции

откуда следует, что

Из этого соотношения следует, что, как бы малы ни были е> 0 и S> 0, при достаточно большом n справедливо неравенство

к Н при больших n является почти достоверным событием.

можно найти такое n0, что реализации любой длины n > n0

распадаются на два класса:

- группа реализаций, вероятности Р( С) которых удовлетворяют неравенству

- группа реализаций, вероятности которых этому неравенству не удовлетворяют.

то первая группа называется высоковероятной, а вторая

- маловероятной.

Это свойство эргодических процессов имеет несколько важных следствий.

Независимо от того, каковы вероятности символов, и каковы статистические связи между ними, все реализации высоковероятной группы приблизительно равновероятны (см. формулу (7.5)).

В связи с этим фундаментальное свойство иногда называют свойством асимптотической равнораспределенности . Это следствие, в частности, означает, что по известной вероятности P(C) одной из реализаций высоковероятной группы можно оценить число N1 реализаций в этой группе:

Энтропия Hn , с высокой точностью равна логарифму числа реализаций в высоковероятной группе:

При больших n высоковероятная группа охватывает лишь ничтожную долю всех возможных реализаций (за исключением случая равновероятных и

).

, где а - основание

. Доля

реализаций высоковероятной группы в общем числе реализаций равна

эта доля неограниченно убывает с ростом п. Например, если a =

, то есть к высоковероятной группе относится лишь одна тридцатимиллионная доля всех реализаций!

Вывод. Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям, и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал (7.1), названный энтропией. Энтропийный подход обобщается на непрерывные и дискретные случайные величины.