Стоит прочитать как Anthropic проверяет код, написанный искусственным интеллектом.

Claude пишет около 90% кода Claude Code. С июня по сентябрь количество смёрженных PR увеличилось более чем вдвое, а доля PR, изменения из которых впоследствии пришлось откатить, сократилась более чем на 40%.

Вот как в Anthropic организован процесс код-ревью:

1. Перед созданием PR: запускаются тесты и сборка проекта, после чего независимый агент проверяет внесённые изменения.

2. При проверке каждого PR: несколько агентов ищут ошибки, а другие проверяют обоснованность их выводов. Дополнительно проводятся проверка безопасности и автоматические проверки в CI.

3. Количество обязательных одобрений зависит от уровня риска: изменения с низким уровнем риска при соблюдении определённых условий могут быть приняты без участия человека. Для изменений со средним уровнем риска требуется одобрение одного проверяющего, а с высоким — двух.

4. Новые функции внедряются постепенно с помощью feature flags. Если возникают проблемы, изменения можно быстро откатить.

5. Предыдущие инциденты становятся основой для ежедневных тестов (evals), результаты которых используются для совершенствования ИИ-агента, проводящего код-ревью.

Особенно интересен подход Anthropic к оценке времени, затрачиваемого разработчиками.

Компания учитывает не только время, необходимое для проверки кода, но и время, которое приходится тратить на устранение последствий ошибок.

Сокращение времени на код-ревью не имеет смысла, если впоследствии разработчикам приходится тратить ещё больше времени на устранение инцидентов в продакшене.

https://claude.dev/blog/solving-code-review-at-anthropic/