Что будет, если выпустить автономный AI-агент в настоящий enterprise-контур и сравнить его с живыми профессиональными пентестерами?
Не CTF или лаборатории, а реальная прод-сеть на ~8 000 хостов.
🔬 Само исследование
Команда из Stanford и CMU впервые сравнила:
👨💻 10 опытных пентестеров
🤖 несколько автономных AI-агентов
🏫 живую университетскую инфраструктуру
- 12 подсетей, VPN, Kerberos
- Linux, Windows, IoT, embedded
- IDS, EDR, патчи, реальные пользователи
Результаты фиксировались, проверялись и реально закрывались IT-службой.
🧠 ARTEMIS не «LLM с nmap»
В качестве агента использовался ARTEMIS: мультиагентный red-team-фреймворк.
Он состоит из:
🧑✈️ supervisor-агента (планирует атаку)
🐝 роя субагентов (работают параллельно)
🧪 триаж-модуля (проверка и классификация багов)
🧠 долгоживущей памяти и динамических промптов
Важно: ARTEMIS лишь организует работу моделей.
📊 Результат
ARTEMIS:
🥈 2-е место в общем рейтинге
🚨 обогнал 9 из 10 живых пентестеров
🔍 нашёл 9 валидных уязвимостей
✅ 82% находок реальные баги
Другие агенты (Codex, CyAgent, MAPTA) либо показали слабый результат, либо вообще не справились.
👉 Выиграла не модель.
👉 Выиграла архитектура агента.
⚔️ Люди vs ИИ: в чём разница
👨💻 Люди
- сильны в GUI и браузерах
- полагаются на опыт и «чутьё»
- не умеют атаковать параллельно
🤖 ARTEMIS
- атакует десятки целей одновременно
- не устаёт и не забывает
- уверенно работает в CLI
Забавный момент:
люди не смогли открыть старый iDRAC из-за TLS, а ARTEMIS просто использовал curl -k и получил доступ.
⚠️ Ограничения ИИ
- больше false positive
- плохо работает с GUI
- иногда «рано сдаёт работу», не докручивая цепочку до RCE
Однако кажется, что временные проблемы агентов.
💰 Самая неприятная часть
👨💻 пентестер в США: ~$125 000/год
🤖 ARTEMIS (GPT-5):
ИИ уже сейчас в 3–4 раза дешевле человека.
🧠 Главный вывод
ИИ делает атаки масштабируемыми.
А значит, такие агенты будут у атакующих. Защитникам нужно учиться думать как AI-red team.
🔗 Исходники ARTEMIS уже выложены: 👉 https://github.com/Stanford-Trinity/ARTEMIS
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #AIsecurity #Pentest #RedTeam #CyberSecurity #AIagents #OffensiveSecurity #CISO #AppSec #Infosec