Информационная энтропия.

Клод Шеннон в 1948 году ввел понятие информационной энтропии, как меру неопределенности или случайности информации. Он показал, что эта энтропия вычисляется по формуле:
H(X) = −∑ p(xᵢ) · log₂ p(xᵢ)
, где p(xᵢ) — вероятность появления события xᵢ. Чем выше энтропия, тем больше неопределенность и разнообразие возможных событий, и тем больше информации они несут. Это безразмерная величина, но, так как логорифм двоичный, то мы подразумеваем, что речь идет про биты.

Представим, что у нас имеется сообщение, длинной 100 бит. Допустим, что это сообщение можно сжать без потери информации в 5 раз, до 20 бит. Тогда энтропия этого сообщения, что до сжатия, что после, будет равна 20 бит. Можно сказать, что энтропия по Шеннону — это минимальное количество информации, которое содержится в сообщении.

Максимальная энтропия достигается при равновероятных событий. Если в последовательности из N бит нули и единицы появляются случайно с вероятностью p(xᵢ) = ½, то посчитаем энтропию у такого сообщения по формуле Шеннона:

H = N · [−∑ p(xᵢ) · log₂ p(xᵢ)] = N · (−½ · log₂(½) − ½ · log₂(½)) = N · (½ + ½) = N

Мы получили, что энтропия равна длине такого сообщения N, а это значит, что его нельзя сжать без потери информации. Такое сообщение называется белым шумом.

Вывод формулы Шеннона понятно объясняется в этом коротком ролике: https://youtu.be/e8GzCI8LMYA

#Теория #Энтропия #Инфофизика