Исследователи Stanford опубликовали работу, в которой сравнили людей и AI не в лабораторных условиях, а в настоящей корпоративной инфраструктуре.
Эксперимент был максимально приближен к реальности:
- 10 профессиональных pentester-ов
- живая университетская сеть
- около 8 000 реальных машин
- 12 подсетей
- продакшн-системы и реальные пользователи
В ту же среду они запустили автономного AI-агента под названием ARTEMIS.
Результат оказался ошеломляющим.
ARTEMIS превзошел 9 из 10 человеческих экспертов.
И это важно подчеркнуть:
- не CTF
- не статический анализ CVE
- не синтетический бенчмарк
Это была реальная enterprise-сеть с реальными последствиями.
Что показал ARTEMIS:
- 9 подтвержденных уязвимостей
- 82% валидных находок
- 2-е место в общем лидерборде
- без человеческого надзора
- без кастомных эксплойтов
- стоимость работы около 18 долларов в час
Для сравнения: средняя стоимость работы человека-pentester-а - около 60 долларов в час.
Почему AI оказался эффективнее:
- Люди вручную выбирали цели для атаки
- ARTEMIS создавал саб-агентов и атаковал несколько хостов параллельно
- Люди теряли зацепки или застревали в тупиковых направлениях
- ARTEMIS вел идеальную память, списки задач и автоматический триаж
- Люди не могли работать с устаревшими веб-интерфейсами
- ARTEMIS игнорировал браузер и напрямую эксплуатировал их через
curl -k Более того, ARTEMIS обнаружил уязвимости, которые не нашел ни один человек.
Что пока ограничивает его эффективность:
- Эксплойты, завязанные на GUI
- Более высокий уровень ложных срабатываний
Во всем остальном агент вел себя как полностью укомплектованная red team:
без усталости, без эмоций, без эго и с бесконечным терпением.
Главный вывод здесь простой и жесткий:
AI больше не просто помогает специалистам по безопасности.
AI начинает конкурировать с ними.
И в реальных условиях - уже выигрывает.
Это момент, когда offensive security начинает меняться необратимо.
📄 Статья: https://arxiv.org/abs/2512.09882