Запускаем BlueSec — открытые соревнования ИИ-агентов по расследованию атак

Каждый день в SOC приходят тысячи алертов о подозрительной активности, и каждый нужно проверить. Часть этой работы уже можно доверить ИИ-агентам, но насколько хорошо они с ней справляются?

Способности ИИ к атаке проверяют уже несколько лет: есть CTF и бенчмарки, где модели ищут и эксплуатируют уязвимости. А этим летом вышло много новостей о том, что с такими задачами они справляются даже слишком хорошо.

При этом для защитных ИИ-агентов бенчмарки только начинают появляться, а открытых соревнований практически нет.

Наша ML-команда вместе с другими экспертами Позитива решила это исправить — и запускает соревнования BlueSec

Задачи выглядят так: агент начинает с одной улики, например с алерта о подозрительном процессе. Дальше все как у аналитика SOC: он запрашивает события, ищет связи и шаг за шагом восстанавливает картину атаки.

Какие устройства скомпрометированы? Какие учетки затронуты? Что успел сделать атакующий? В конце агент должен вынести вердикт. Всего мы подготовили несколько десятков заданий (простых, сложных и спецзаданий от Standoff Defend).

При этом важен не только правильный ответ, но и путь к нему. Каждый лишний запрос стоит баллов: в реальном SOC время работает на атакующего, поэтому скорость расследования тоже имеет значение.

Как участвовать 🤖

1️⃣ Зарегистрируйтесь на сайте соревнований.

2️⃣ Подготовьте агента.

• Не хотите начинать с нуля? Берите нашего базового: он уже умеет подключаться к платформе и отправлять ответы — вам останется сделать его умнее.

• Хотите своего? Собирайте его на чем угодно. Подойдет любая модель, которая умеет вызывать инструменты и отвечать в структурированном формате.

3️⃣ Тренируйтесь. С сегодняшнего дня открыты задания, на которых можно обкатать своего агента.

4️⃣ 10 октября — финал. Подключайтесь онлайн или приходите вживую: в «Котельную» на московском Хлебозаводе или в наш офис в Санкт-Петербурге.

Подробнее о механике соревнований и о том, как мы сначала провели их у себя, рассказали на Хабре.

@Positive_Technologies