Поиск ИБ-дефектов в исходном коде с использованием LLM

Всем привет!

Команда Semgrep провела небольшое исследование. Они использовали Claude Code и OpenAI Codex для поиска ИБ-дефектов в исходных кодах 11 популярных Python-приложений.

Суммарно было найдено более 400 ИБ-дефектов, которые команда проверила.

Получилось следующее:
🍭 Claude нашел 46 ИБ-дефектов (14% - TPR, 86% - FPR)
🍭 Codex – 21 ИБ-дефект (18% TPR, 82% FPR)
🍭 Лучше всего получалось находить IDOR (Claude) и Path Traversal (Codex)
🍭 Самой большой сложностью был taint-анализ среди нескольких файлов
🍭 И да, нюансы с идемпотентностью никуда не делись. Разные запуски могли давать разные результаты

Детали исследования можно найти в статье (а там много всего интересного).

Из приятного – у Semgrep есть мысли о том, чтобы отдать полученный dataset в «общественное использование» ☺️