Использование LLM для поиска IDOR

Всем привет!

Команда Semgrep продолжает анализировать возможность использования LLM для поиска ИБ-дефектов в исходном коде.

В «первой части» ребята использовали Claude Code и OpenAI Codex для анализа популярных open-source Python-приложений.

На этот раз они сфокусировались на одном определенном типе – IDOR. Перечень LLM остался без изменений.

Если кратко, то:
🍭 Всего было найдено 15 true positive и 93 false positive
🍭 Claude показал лучшие результаты
🍭 LLM хорошо показали себя в поиске простых ИБ-дефектов и не так хорошо в примерах со сложной логикой (например, когда проверка полномочий осуществлялась в разных файлах)
🍭 Возможно, что prompt engineering сможет улучшить полученные результаты

Больше деталей можно найти в статье. Включая информацию о том, почему для LLM поиск IDOR не такая тривиальная задача.

В результате имеем очень хорошее исследование, с которым мы рекомендуем вам ознакомиться ☺️