Что такое mutual Information (взаимная информация)?

Взаимная информация (mutual information) — это величина, измеряющая количество информации, которую одна случайная величина содержит о другой. Это способ оценить степень зависимости между двумя величинами. Если величины независимы, их взаимная информация равна нулю. Чем больше зависимость, тем больше взаимная информация.

Возьмём пример с весом и ростом человека. Пусть у нас есть совместное распределение этих величин, которое показывает, как значения веса и роста распределены вместе. Совместное распределение можно представить как таблицу или график, где каждой паре значений веса и роста соответствует определённая вероятность.

Теперь представим, что мы рассматриваем только распределение веса, игнорируя рост, и только распределение роста, игнорируя вес. Эти распределения называются маржинальными. Они дают нам информацию о том, как часто встречаются определённые значения веса и роста независимо друг от друга.

Взаимная информация измеряет разницу между совместным распределением и маржинальными распределениями. Если величины совершенно независимы, их совместное распределение будет просто произведением их маржинальных распределений, и взаимная информация будет равна нулю. Если же существует зависимость, совместное распределение будет отличаться от произведения маржинальных, и взаимная информация будет положительной.

#машинное_обучение