Коллеги подвели итоги конкурса ИИ-агентов BlueSec по расследованию инцидентов ИБ, о котором я писал. Помимо основных победителей, определили и шуточные номинации. Но если посмотреть на цифры серьезно, обнаруживается немало интересного:
🔴 Агент-параноик – 967 ложных тревог из 2198 вердиктов (44%).
😇 Наивный агент – 304 пропущенные атаки из 425 вердиктов (71,5%).
🔁 Агент с амнезией – 71 повторный вызов инструмента с одинаковыми параметрами.
🎰 Любитель экспериментов – 1634 запуска.
🐢 Агент-черепаха – более 9 часов на расследование.
⚡️ Агент-спринтер – 30 правильных вердиктов за 48 секунд.
🗃 Собиратель данных – выгрузил 7800 сущностей и 2500 связей.

Разброс впечатляет. Например, отношение времени самого долгого расследования к 48 секундам спринтера – почти 683 раза! Правда, это разные показатели: в одном случае время одного расследования, в другом – обработки 30 инцидентов, но... Если эти три десятка инцидентов были "решены" без ошибок за 48 секунд, то значит ли это, что все, наступила эра автономных SOCов? Нет!

Я не знаю, какие модели использовали участники (и мы вроде как и не собирали эти данные), но результаты позволяют сделать несколько выводов.
6️⃣ Качество модели ≠ качество агента. Даже самая умная LLM может стать основой неэффективного агента, который зацикливается, собирает лишнюю информацию или неправильно интерпретирует события.
2️⃣ Правильный ответ – еще не показатель эффективности. Важно, сколько времени, токенов и вызовов инструментов потребовалось для его получения. И сколько лишних действий агент совершил по дороге.
3️⃣ Больше данных ≠ лучше расследование. Тысячи сущностей и связей могут помочь обнаружить сложную атаку, а могут превратиться в информационный шум. Агент должен понимать, когда информации уже достаточно.
4️⃣ Скорость ≠ качество. 30 правильных ответов за 48 секунд впечатляют, но возникает вопрос: агент действительно расследовал инциденты или научился распознавать их по нескольким признакам? И сохранится ли результат на новых данных?
5️⃣ Агент должен уметь останавливаться. Контроль циклов, ограничение числа вызовов, бюджет токенов, оценка достаточности доказательств – не менее важные элементы архитектуры, чем сама LLM.
6️⃣ Нужна воспроизводимость. Один правильный ответ ничего не говорит о том, насколько стабильно агент будет решать ту же задачу при повторных запусках. Для SOC важна не лучшая попытка из тысячи, а вероятность правильного решения с первого раза.

💡 Главный вывод. Мы привыкли оценивать ИИ по тому, насколько правильно он отвечает на вопросы. Но для агентного ИИ этого уже недостаточно. Нужно оценивать не только результат, но и поведение: как агент рассуждает, какие инструменты вызывает, сколько данных собирает, как проверяет гипотезы, сколько ресурсов расходует и умеет ли вовремя остановиться. В промышленном SOC победит не обязательно самый умный агент. А тот, кто предсказуемо, обоснованно и с приемлемыми затратами приходит к правильному решению. И, возможно, главное умение будущего SOC-агента – не только находить атаки, но и понимать, когда уже хватит расследовать.

#ии #soc #управлениеинцидентами