⚖️ Кибербезопасность против дисбаланса: какие ML-модели реально работают?

Многие задачи в кибербезопасности — это бинарная классификация:

- вредоносно / не вредоносно,
- взлом / норма,
- фрод / честная транзакция.

Но беда в том, что “вредные” события — редкость, и модели, обученные на таких дисбалансных данных, часто просто «игнорируют» меньшинство. В результате — false negatives, и злоумышленники остаются незамеченными.

Исследователи провели масштабное тестирование ML моделей, чтобы изучить данную проблематику.

🧪 Что протестировали?

Авторы взяли два больших датасета:

Credit Card Fraud (европейская e-commerce):
  283726 транзакций, 0.2% — мошенничество (598:1)

PaySim (симуляция мобильных платежей):
  6.3 млн транзакций, 0.13% — фрод (773:1)

И провели 3 эксперимента:

⚙️ Эксперимент 1: какие алгоритмы работают лучше?

Тестировали 6 моделей:

➖ Random Forests (RF)
➖ XGBoost (XGB)
➖ LightGBM (LGBM)
➖ Logistic Regression (LR)
➖ Decision Tree (DT)
➖ Gradient Boosting (GBDT)

📈 Результаты:

➖XGBoost и Random Forest — самые устойчивые и точные.
➖DT отлично справился с PaySim (F1 = 0.90).
➖LGBM — худший результат в обоих случаях.

🧪 Эксперимент 2: как влияют методы балансировки?

Проверили:

➖ Over-sampling
➖ Under-sampling
➖ SMOTE
➖ Без выборки

🧩 Выводы:

➖Over-sampling часто помогает, улучшая Recall.
➖SMOTE иногда ухудшает качество (шум в синтетике).
➖Under-sampling — почти всегда вредит (слишком много потерь).
➖Лучший эффект: Over-sampling + XGBoost (F1 > 0.85)

🧠 Эксперимент 3: ансамблизация через Self-Paced Ensemble (SPE)

Протестировали, как влияет количество моделей в ансамбле (10, 20, 50).

📊 Инсайты:

➖ Precision растёт с количеством моделей, Recall — падает.
➖ Наиболее сбалансированный результат: SPE c XGB, N=20.
➖В некоторых задачах простая модель без выборки работает лучше, чем “мега-ансамбль”.

🧭 Главный вывод:

Нет универсального рецепта.
Модель, которая работает на одном наборе, может провалиться на другом.

✅ Рекомендации:

➖Тестируйте разные модели под конкретный датасет
➖Избегайте слепого применения SMOTE
➖Сравнивайте Over-sampling и ансамбли
➖Не верьте F1 без анализа Precision/Recall

🔗 Код открыт!
Всё доступно на GitHub

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CyberSecurity #MachineLearning #ImbalancedData #XGBoost #FraudDetection #SMOTE #EnsembleLearning #DataScience #MLinSecurity