Новое исследование поставило под сомнение ключевую гипотезу: что больше данных — это всегда лучше. Спойлер: нет.
📌 В чём суть?
Модели для распознавания сущностей (NER), обученные на кибербезопасных датасетах, резко теряют точность, если объединить разные наборы данных. Потери достигают -27% по F1-score. Причина — противоречия в аннотациях: в одном датасете Google — это компания, в другом — система.
⚔️ Суть проблемы
Исследователи объединили 4 популярных датасета из кибердомена:
- APTNER — отчёты по APT-группам, 260K токенов, 21 тип сущности
- CYNER — отчёты threat intelligence, 107K токенов, 5 сущностей
- DNRTI — данные из GitHub и госструктур, 175K токенов, 13 сущностей
- ATTACKER — блоги исследователей, 79K токенов, 18 сущностей
После унификации все сущности были сведены к 4 основным классам:
🟩 Organization
🟧 System
🟥 Vulnerability
🟦 Malware
Но… оказалось, что одни и те же слова аннотированы по-разному:
• Linux в одном случае — System, в другом — вообще не сущность
• Dridex — то Malware, то System
• Google — одновременно Organization и System (зависит от контекста)
• sample — где-то файл, где-то вредонос
Итог: при обучении на одном датасете и тестировании на другом — модели начинают «сходить с ума», делая лавину ошибок.
📉 Что показал эксперимент?
Модель, обученная на DNRTI, показывает F1 = 0.41 на нём же,
но при тестировании на CYNER падает до 0.07.
Самая болезненная потеря: обучение на ATTACKER, тест на APTNER → F1 = 0.01!
Даже самые продвинутые модели не справляются: мультиголовые и графовые подходы дают мизерный прирост точности.
🔍 Почему это происходит?
➖Аннотационный сдвиг
В разных датасетах используются разные правила выделения сущностей (напр., включать ли скобки в SolarWinds (USA)).
➖Потеря контекста при унификации
Специфичные теги (THREAT_ACTOR) превращаются в обобщённые (Organization), теряя смысл.
➖Дистрибутивные расхождения
Распределения токенов и частот меток между датасетами сильно различаются — это измеряется JS-дивергенцией до 0.24.
➖Перекос в метке "O"
После объединения данные становятся более "разреженными", и модель чаще классифицирует всё как не-сущности → рост ложных отрицаний на 15%.
🧠 Тестируемые подходы
Мультиголовая архитектура:
Отдельные выходы на каждый датасет + общая база. Давала лучшие результаты (например, F1 = 0.52 на DNRTI), но всё равно недостаточные.
LST-NER (графовая модель):
Использует схожесть сущностей между датасетами через метрику Gromov-Wasserstein. Увы, почти не превосходит BERT base.
🛡 Практические советы для аналитиков и ML-инженеров:
✅ Не объединяйте кибердатасеты вслепую — всегда проводите кросс-валидацию
✅ Формализуйте гайдлайны для аннотаторов:
Что такое System, где кончается Organization
Как оформлять spans и что исключать
✅ Валидируйте на чужих данных — если вы делаете модель под отчёты Mandiant, тестируйте на GitHub или CISA
✅ Лучше взять BERT и дообучить, чем писать кастомную архитектуру с нуля — он устойчивее ко сдвигам в разметке
🚀 Что дальше?
✍️ Нужны индустриальные стандарты по аннотациям (вроде MITRE ATT&CK для NER)
🧠 Полуавтоматическая разметка с проверкой экспертом
🔬 Использование доменно-специфичных эмбеддингов (например, на основе ThreatCrowd, VirusTotal)
📌 Итог:
Объединение данных ≠ усиление модели. В кибердомене — наоборот: различия в аннотациях могут убить всю обобщающую способность.
📎 Ресурсы:
Исследование
Код и данные
#CyberNER #SecureTechTalks #ThreatIntel #DataLabeling #MachineLearning #SOCtools #DataDrift