🌪 ONLINE-IFOREST: как искать аномалии в потоках данных?

Когда каждое событие может быть атакой, а событий миллионы в секунду…

🔍 В чём проблема?

Все любят Isolation Forest — простой и мощный алгоритм поиска аномалий. Но он рассчитан на работу с статичными данными. А в кибербезопасности данные — это бесконечный поток событий:
⚙️ Логи от SIEM
💳 Транзакции
📡 События с IoT
🐛 Трафик и телеметрия

Именно для таких задач создан ONLINE-IFOREST — абсолютно новый подход, заточенный под потоковую обработку.

⚙️ Как это работает?

ONLINE-IFOREST — это не просто адаптация Isolation Forest под поток. Это перепридуманная архитектура:
🌐 Работает в режиме один проход
🧠 Постоянно обучается на новых данных
🧽 Забывает старые данные по sliding window
🧱 Использует динамические гистограммы вместо деревьев
🌲 ONLINE-ITREE: дерево нового поколения
Каждое дерево внутри ONLINE-IFOREST — это гибкая гистограмма, которая:
Увеличивает детализацию в плотных участках
Сливает бины в пустых зонах
Учит и забывает данные автоматически
Превращает входящий поток в живую карту аномалий

🧪 Результаты тестов

Тестировали на 12 реальных датасетах:
HTTP, SMTP, Fraud Detection, Taxicab NYC, ForestCover, и др.
Как в стационарных, так и в нестационарных потоках (с concept drift)

Итог:
📊 ROC AUC до 0.99
⚡ В 2–10 раз быстрее ближайших конкурентов (RRCF, HST, LODA)
📉 Лучшая производительность на старте (первые 1000 событий)

💼 Когда пригодится?

Если ты:
⚠️ Отлавливаешь вторжения в режиме реального времени
🧠 Сканируешь фрод в финансовых операциях
🛰️ Работаешь с IoT/OT и телеметрией
…тебе нужен алгоритм, который не требует переобучения, работает на лету, и точно определяет аномалии, даже когда поведение резко меняется.

🧠 Особенности архитектуры

1⃣ Нет переобучения: модель эволюционирует постоянно
2⃣ Нет хранения всех данных: sliding window + буфер
3⃣ Сложность: O(n log(ω/η)) по времени, O(√(ω/η)) по памяти

🧰 Хочешь попробовать?

Код здесь:
github.com/ineveLoppiliF/Online-Isolation-Forest

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AnomalyDetection #StreamingAI #CyberSecurity #IsolationForest #OnlineLearning #MLforSecurity #SIEM #RealTimeDetection #OpenSourceML