Автономный ИИ-агент для аудита кода

ИИ-агенты уже во всю пишут и тестируют enterprise-код. Поэтому разработка и внедрение таких агентов в SDL - это отдельный инженерный вызов.

Чтобы не бросаться изобретать велосипед, можно изучить, что уже сделано в этом направлении. Например, проект RepoAudit - по нему можно проследить за развитием инструментов категории AI SAST (да, теперь у статических анализаторов появилась еще одна категория).

Исследователи задались вопросом «как побороть галлюцинации LLM при поиске ошибок в коде?» и в результате создали методику снижения глюков и повышения точности обнаружения бегов. Ключевая фишка: не давать сырой код на вход LLM, а сначала готовить «путь потока датанных» (data flow path) и затем передавать этот его в LLM. Это промежуточное представление лучше описывает распространение ошибки в процессе выполнения программы. На основе этой методики подготовили инструмент LLMSCAN, который ее реализует.

Затем предложили архитектуру агентной системы, которая, используя этот инструмент, самостоятельно ищет баги. Архитектура состоит из набора детекторов, заточенных под конкретные категории ошибок. Заодно опубликовали агента dfbscan, который анализирует потоки данных.

Недавно авторы проекта описали подход к поиску ошибок «BugScope», который заключается в том, чтобы LLM сначала проанализировала примеры, а затем самостоятельно провела их поиск в нужном контексте.

Скоро обещают опубликовать прототип агента для анализа бинарных файлов. Следим за репозиторием, экспериментируем и бережно обращаемся с лицензией: она позволяет использовать RepoAudit только для некоммерческих целей.

@makrushin