Qwen 2.5 7B: «тонкая» настройка для ответов на ИБ-вопросы

Всем привет!

Автор статьи работает над собственным решением – Valqore. Его задача состоит в сканировании Kubernetes, Terraform и облачных ресурсов для поиска ошибок различного рода: от ИБ до несоответствия требованиям.

В качестве основы используется «движок» с детерминированным набором правил: он не галлюцинирует и даёт идемпотентный результат.

Для удобства пользователя Автор захотел добавить ИИ, который смог бы объяснить просто и понятно: «Что не так и как это исправить?».

И тут возникла проблема: ответы AI могли быть корректными, но общими. Она хорошо «подсказывала» в вопросах, связанных с облаками. Однако, ответы резко становились хуже, если вопросы были именно про Valqore.

Решением стало обучение Qwen 2.5 7B:
🍭 Создание набора данных о правилах (что проверяет, в чём проблема, как исправить и т.д.)
🍭 Создание набора данных о «доменах» (Kubernetes, Terraform, CIS Benchmarks и т.д.)
🍭 Тренировка

В результате Автору получилось добиться желаемого результата. Примеры «до» и «после» можно найти в статье.

Кроме того, там перечислены его «ошибки» и «гипотезы, которые не сработали».

А в завершение статьи представлена общая статистика обучения: от количества тестовых данных до времени обучения.