Snyk: VulnBench

Всем привет!

Недавно мы писали про исследование команды Snyk, посвященное тому, насколько хорошо LLM ищут уязвимости в исходном коде и насколько идемпотентные результаты можно получить.

Чтобы было проще посмотреть и проанализировать результаты, Snyk подготовил VulnBench.

Фактически – та же сама информация, представленная в виде интерактивного сайта, в котором можно углубиться в исследование.

Доступны такие разделы как:
🍭 Summary
🍭 Repeatability
🍭 Coverage
🍭 Efficiency
🍭 Findings

В каждом из них собрана детальная информация по результатам, предоставленным каждой LLM.

В том числе можно посмотреть на то, как именно LLM выносили вердикт и какое обоснование они формировали.

Если вас заинтересовала статья, то VulnBench вам точно понравится!