Насколько пригоден Opus 4.6 для поиска уязвимостей?

Всем привет!

Команда ZeroPath провела небольшое исследование. Они проанализировали 435 известных уязвимостей в С, у каждой из которых есть свои CVE, с использованием Opus 4.6.

Команда использовала разные «наборы» prompt и инструментов для поиска. Результаты, в зависимости от выбранного набора, различались, хоть и не сильно.

Набор данных, над которым проводился анализ, был взят из вот этого исследования и опубликован (его можно найти по ссылке).

Далее команда определила свой подход: на вход LLM было передано 2 набора функций – уязвимые и исправленные (patched). После того, как модель дала свои «ответы» команда проверяла насколько она правильно определила (не) уязвимые функции.

Итог получился такой: с хорошими prompt и правильно подобранными инструментами, модель нашла 28,5% уязвимостей.

Но были и некоторые нюансы: большое количество ложных срабатываний, (не) всегда консистентные результаты.

Подробные результаты с цифрами, комментариями, нюансами и выводами, сформированными по результатам исследования, представлены в статье.