👆🏻Что такое AUC - ROC Curve и почему это так важно для оценки качества ML-модели?
Это площадь под кривой ошибок (ROC-кривой) используется как метрика оценки качества алгоритмов классификации. Ее значение лежит в диапазоне [0, 1].
Кривая AUC - ROC измеряет эффективность классификации при различных пороговых значениях. ROC - это кривая вероятности, а AUC - степень или мера разделимости, которая говорит о том, насколько ML-модель способна различать классы. Чем выше AUC, тем лучше модель. Например, при AUC близкой к 1, ML-модель будет хорошо отличать больных пациентов от здоровых. Плохая модель имеет AUC около 0, что означает худший показатель разделимости, что означает, что объекты разных классов будут классифицированы неверно. Если AUC равен 0,5, то модель вообще не может выделять классы.
Чувствительность и специфичность обратно пропорциональны друг другу: увеличивая чувствительность, мы уменьшает специфичность, и наоборот. Снижая порог, мы получаем больше положительных значений, что увеличивает чувствительность и уменьшает специфичность. Наоборот, увеличив порог, получим больше отрицательных значений и более высокую специфичность с низкой чувствительностью.
В мультиклассовой модели можно построить N кривых AUC ROC для N числовых классов, используя методологию One vs ALL. Так, например, если у вас есть три класса с именами X, Y и Z, у вас будет один ROC для X, классифицированный по Y и Z, другой ROC для Y, классифицированный по X и Z, и третий для Z, классифицированный по Y и X.
https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5