Всем привет! 👋

Сегодня я принес вам порцию полезного контента. На этот раз — пример визуализации с анимацией, который может быть очень полезен. Почему? По двум причинам:

1️⃣ Эта визуализация объясняет принцип ранжирующей силы классификатора через рост его качества. Всё показано наглядно, что позволяет понять, почему одна модель классификации достигает определённой метрики, а другая — нет.
2️⃣ Такие графики могут пригодиться в рабочих задачах. Если вам нужно отслеживать динамику нескольких показателей, это может стать отличным инструментом.

(да, это всеми любимая #пятничная_визуализация@ml_maxim)

Теперь немного подробнее:

Сравнение алгоритмов классификации

В данном примере рассматривается алгоритм бинарной классификации. Одна из хороших метрик для таких задач — ROC-AUC. Она показывает, насколько хорошо объекты отранжированы друг относительно друга. Эта метрика отображена на анимации.

Кроме того, на анимации динамически меняется линия, которая показывает скользящее среднее по отранжированным значениям бинарного таргета. Таргет упорядочен по значению скора. Чем выше левый край графика, тем лучше работает классификатор.

Еще прикладываю картинку для сравнения двух классификаторов. На ней видно, почему классификатор с более высокой метрикой ROC-AUC ранжирует выборку лучше. Также на графике есть линия среднего значения. Очевидно, что если случайным образом взять подвыборку из данных, то среднее значение угаданных положительных событий будет равно доле этих событий в выборке.

Если линия классификатора выше средней линии, это значит, что он работает хорошо и его применение оправдано. А если его линия ниже средней линии (например, как в последних операциях хорошего классификатора справа), то смысла в применении такого алгоритма мало — особенно если задача заключается в поиске положительного класса.

Эффективность машинного обучения зависит не только от сложности алгоритмов, но и от глубины их понимания и умения наглядно объяснить.

Такая анимация:

🟢 делает абстрактные метрики более понятными и осязаемыми;
🟢 помогает находить скрытые закономерности;
🟢 упрощает коммуникацию с нетехнической аудиторией.

Как говорится, «a picture is worth a thousand words». В эпоху AI это актуально как никогда. 💡

Если интересны детали и код, то он есть по этой ссылке: https://github.com/MaximShalankin/maxim_ml/tree/main/publications/matplotlib_animation