Использование AI для triage: опыт Semgrep

Всем привет!

Продолжаем тему использования AI для оптимизации процесса управления ИБ-дефектами при статическом анализе исходного кода.

«Мы рады заявить, что оценка Semgrep Assistant по обнаружению true positive совпадает с аналогичной оценкой наших специалистов в 95% случаев» - так начинается статья от Semgrep.

Далее в статье описано как именно команде удалось достичь таких впечатляющих результатов.

Например:
🍭 Процесс работы Assistant Autotriage – схема, дополнительный контекст (метаданные правил, предыдущие решения, примеры того, что (не) должно быть найдено и т.д.)
🍭 Сравнение используемых моделей (на выборке из 2000 findings)
🍭 Улучшение результативности за счет разных моделей, оптимизации prompt и т.д.

В завершение описаны идеи команды по дальнейшему развитию Assistant. Например, сейчас он сам не «закрывает» найденные ИБ-дефекты, а только подсказывает.

Рекомендуем! Читается легко, много всего интересного, включая дополнительные ссылки на исследования Semgrep в области использования машинного обучения.