Поиск секретов в коде: новый инструмент и еще один способ

На этот раз интересна даже не утилита, а подход, который можно применять для поиска аномалий в потоке данных.

Поиск разделяется на два класса сигналов: структурированные строки (например, JWT, API‑ключи, OAuth‑токены) и строки произвольной формы (пароли). Для поиска первого типа строк используются регулярные выражения, а для второго — BERT (Bidirectional Encoder Representations from Transformers). Эта небольшая языковая модель прошла дополнительное обучение для поиска секретов. В конце другая LLM-модель оценивает результат работы BERT и снижает ложные срабатывания.

Получаем хорошую методику для поиска аномалий: сначала сигнатуры, затем дообученная BERT-модель и финальный вердикт от LLM.

@makrushin