💡 Как связаны ошибки первого и второго рода с precision, recall и ROC-кривой

Ошибки первого рода (ложноположительные) и второго рода (ложноотрицательные) напрямую отражаются в метриках:

➡️ Recall (чувствительность) — показывает, какую долю настоящих положительных случаев модель нашла. Повышая recall, мы уменьшаем ошибки второго рода, но можем увеличить ошибки первого рода — то есть начать «ловить» ложные срабатывания.

➡️ Precision (точность) — показывает, какую долю из предсказанных положительных случаев действительно являются таковыми. Чем выше precision, тем меньше ошибок первого рода.

➡️ ROC-кривая отображает компромисс между True Positive Rate (Recall) и False Positive Rate (ошибка первого рода) при разных порогах. Она помогает выбрать рабочую точку модели в зависимости от цены каждой из ошибок.

📌 Важно: выбор между precision и recall зависит от задачи. В медицине критичнее не пропустить заболевание (минимизировать ошибку второго рода), а в спаме — не ошибаться с лишними срабатываниями (ошибки первого рода).

Библиотека собеса по Data Science