Вот рабочий принцип недели:
LLM - усилитель сигнала, но плохой «судья». Если поставить его «на стоп» в CI без правил, получится хаос.
Почему так?
➡️ LLM недетерминированный - сегодня он видит риск, завтра нет.
➡️ Он хорошо находит подозрительное, но плохо гарантирует правильное.
➡️ Цена ошибки - ложный «зеленый билд» и регресс в проде.
Чек-лист «ИИ в Quality Gate»:
✔️ Границы применимости: что он делает? Он может подсветить риск, предложить тест или найти анти-паттерн, но не делать «approve/reject».
✔️ Baseline: что было до ИИ? Определить дефекты, время ревью и флейки - иначе нечего улучшать.
✔️ Shadow mode 1-2 недели: ИИ пишет комментарии, но ничего не блокирует. Считаем попадания и ложные тревоги.
✔️ Два сигнала вместо одного: ИИ-оценка + обычные проверки (тесты, линтер, ревью человека).
✔️ План Б: что делаем, когда ИИ «шумит» или «молчит»? Планируем откат или выключатель и правило эскалации.
✔️ Логи и «как проверяем»: сохраняем промпт, контекст, ответ (иначе не отдебажить).
✔️ Кто владелец: конкретный человек или роль. «Оно само» - хочется, но не стоит.
📱 Исходный код — подписаться!