Использование LLM для анализа PR

Всем привет!

Как быть, если надо анализировать около 10,000 PR, создаваемых еженедельно? Вариант ответа на этот вопрос можно найти в статье от DataDog.

В ней Авторы описывают свой опыт создания BewAIre – специализированного инструмента, который позволяет определить является ли PR вредоносным.

Команда разбила задачу на 3 блока:
🍭 Управление набором данных (dataset, создание, актуализация)
🍭 Работа с «контекстными окнами» и большими размерами данных
🍭 Сокращение ложных срабатываний

Каждый из разделов очень хорошо описан в статье, включая перечень подходов, используемых Командой.

В результате у них получилось достичь приличных показателей: > 99.3% - точность, 0.03% - FP, 100% - покрытие.

Больше подробностей, включая описание «подводных камней» и lessons learned, можно найти в самой статье.