Парадокс белого шума.

По аналогии с белым светом, белый шум называют белым потому, что в его спектре присутствуют все частоты с равной мощностью. Этот факт делает белый шум полностью случайным сигналом.

Если его оцифровать, то мы получим последовательность бит, в которой 0 и 1 будут случайно появляться с вероятностью 50/50. Из этого следует, что информационная энтропия белого шума максимальна. Колмогоровская сложность тоже максимальна — белый шум нельзя сжать.

Белый шум содержит в себе информацию случайного распределения, поэтому обладает максимальной энтропией и сложностью. Но в полностью случайной последовательности бит не может содержаться никакой смысловой информации.

При этом в сообщении, очень близком к белому шуму, этой смысловой информации может быть все сообщение, а у белого шума её ноль. То есть происходит мгновенный коллапс количества смысловой информации с максимума до нуля при бесконечно малом изменении сообщения с «почти белый шум» на «полный белый шум». В этом и заключается информационный парадокс белого шума.

Парадокс белого шума можно разрешить, если принять во внимание, что истинный белый шум не достижим. Сообщение всегда остается «почти белым шумом», но никогда в него не переходит. Это справедливо для сообщений конечной длины, так как истинный белый шум имеет бесконечную спектральную мощность, а значит содержит бесконечное количество информации.

Это также требует переосмысления понятия случайности. Тогда любая, кажущаяся случайной, последовательность бит на самом деле не случайная, а содержит в себе несжимаемый паттерн, длинной с саму последовательность. И информация в этой последовательности соответствует этому паттерну. А само понятие случайности переопределить, как неизвестный несжимаемый паттерн.

Если бы наше сообщение коллапсировало в истинный белый шум, то его наблюдаемая энтропия для нас бы тоже обнулилась. Это бы соответствовало коллапсу конечного «белого шума» слева на картинке, в истинный белый шум справа на картинке.

#Сложность@entropians
#Случайность@entropians