Для оценки моделей классификации позволяют определить, насколько хорошо модель справляется с задачей предсказания классов.
🚩Основные метрики классификации
🟠Точность (Accuracy)
Доля правильных предсказаний. Когда классы сбалансированы.
\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}🟠Полнота (Recall)
Доля правильно предсказанных положительных примеров. Когда важно минимизировать пропуск положительных случаев.
\text{Recall} = \frac{TP}{TP + FN}🟠Точность (Precision)
Доля правильно предсказанных положительных примеров из всех предсказанных положительных. Когда важно минимизировать количество ложноположительных случаев.
\text{Precision} = \frac{TP}{TP + FP}🟠F-мера (F-score)
Гармоническое среднее между точностью и полнотой. Когда нужно сбалансировать точность и полноту.
F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}🟠Матрица ошибок (Confusion Matrix)
Таблица с количеством истинных положительных, истинных отрицательных, ложноположительных и ложноотрицательных предсказаний.
🟠ROC-кривая и AUC
ROC-кривая показывает соотношение истинно положительных и ложноположительных срабатываний при различных порогах. AUC – площадь под ROC-кривой. Для оценки качества моделей при различных порогах классификации.
🚩Примеры использования
Accuracy, Precision, Recall и F1-Score
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix
# Истинные метки и предсказанные метки
y_true = [0, 1, 1, 1, 0, 1, 0, 0, 1, 1]
y_pred = [0, 1, 0, 1, 0, 1, 0, 1, 1, 0]
# Вычисление метрик
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)
cm = confusion_matrix(y_true, y_pred)
print(f"Accuracy: {accuracy}")
print(f"Precision: {precision}")
print(f"Recall: {recall}")
print(f"F1 Score: {f1}")
print(f"Confusion Matrix:\n{cm}")
ROC-кривая и AUC
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, roc_auc_score
# Истинные метки и предсказанные вероятности
y_true = [0, 1, 1, 1, 0, 1, 0, 0, 1, 1]
y_scores = [0.1, 0.4, 0.35, 0.8, 0.2, 0.75, 0.3, 0.4, 0.85, 0.6]
# Вычисление ROC-кривой и AUC
fpr, tpr, thresholds = roc_curve(y_true, y_scores)
roc_auc = roc_auc_score(y_true, y_scores)
# Построение ROC-кривой
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC-кривая (AUC = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.0])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC-кривая')
plt.legend(loc="lower right")
plt.show()
Ставь 👍 и забирай 📚 Базу знаний