1️⃣ Какая модель лучше разделяет классы, у которой ROC-AUC равен 0.87 или 0.1?
Модель с рок-ауком 0.1, так как она разделяет классы очень хорошо, просто путает их в предсказании. Инвертировав предсказания мы получим рок-аук 0.9, что больше 0.87.
2️⃣ Зачем нужна PR-кривая?
PR-кривая (precision-recall) особенно полезна при сильном дисбалансе классов, где ROC-AUC может вводить в заблуждение, показывая высокий результат за счёт большого числа true negative. Она фокусируется на качестве положительных предсказаний, показывая, насколько хорошо модель находит редкие, но важные объекты (например, фрод или болезни). В практике она помогает выбрать порог вероятности, а так же сравнивать модели по значимым метрикам в условиях малого положительного класса.
3️⃣ Как бороться с дисбалансом классов в данных?
С дисбалансом классов можно бороться как на уровне данных (oversampling редкого класса — например, SMOTE, или undersampling частого), так и на уровне модели — через использование взвешенной функции потерь (class weights) или кастомной метрики оптимизации. Важно также выбирать метрики, устойчивые к дисбалансу, такие как PR-AUC, F1-score. На практике часто комбинируют подходы, а ещё используют стратифицированную валидацию.
#собеседования_MLinside