Использование LLM для Application Security, опыт
DryRun Security

Всем привет!

Наверное, каждый пробовал поместить если уж не исходный код, то результаты срабатываний *AST-решений в LLM с вопросом – «Что тут false, а что – true positive?»

До сих пор нет однозначной позиции (кроме надежды на silver bullet, которая теплеет внутри) о том, насколько именно LLM могут быть полезны в этом вопросе.

Сегодня предлагаем вам ознакомиться со статьей от DryRun Security, которые в течение года использовали разные LLM для того, чтобы оценить их «пригодность» для Application Security нужд.

Как обычно, началось все с недовольства работой *AST решений: много «шума», отсутствие понимания контекста, не самая высокая производительность, труднопонимаемые результаты для разработчиков и т.д.

Казалось бы, все это можно решить с использованием LLM. При этом получится отличный «переводчик» между AppSec и разработчиками.

Однако, команда все-таки столкнулась с нюансами
🍭 Не все LLM хорошо понимают «в код»
🍭 Результаты не всегда содержат информацию, позволяющую принять решение
🍭 Нюансы, связанные с конфиденциальностью (если используется внешняя LLM)
🍭 «Тренировка» модели процесс не конечный, его надо поддерживать, что не всегда просто

Поэтому реализовать концепт «отдали код – получили перечень уязвимостей» не будет работать. Но расстраиваться не стоит 😊

Если кратко, то использованием LLM может неплохо помочь Application Security, но с нюансами. Какими? Ответ вы найдете в статье 😊

P.S. А что вы думаете про использование LLM для описанных в посте целей? Можно ли на них полагаться или лучше не стоит?