Поиск ИБ-дефектов с LLM: идемпотентность

Всем привет!

«Может ли LLM найти один и тот же ИБ-
дефект дважды?» - именно этот вопрос задала себе команда Snyk.

Для того, чтобы ответить на него ребята запустили 300 сканирований.

Один и тот же исходный код. Один и тот же prompt. Один и тот же harness. Несколько раз.

Что получилось? Ответ можно найти в достаточно объемной статье (~ 29 минут на прочтение).

tl;dr – результаты могли отличаться от запуска к запуску.

А если хочется деталей, то они есть внутри и «разбиты» на разделы:
🍭 Результат №1. Повторяемость LLM варьируется от конфигурации
🍭 Результат №2. LLM-агенты и SAST нашли разные ИБ-дефекты
🍭 Результат №3. Более дорогие LLM не всегда показывали лучшие результаты

Для каждого из описанных выше разделов приводится много статистики, пояснений и уточнений о том, как именно запускались тесты и что именно было найдено.

Проводили ли вы у себя подобные исследования и какие были результаты?