📚 В свежем arXiv-препринте про cross-model code review исследователи взяли 116 сложных и средних задач LiveCodeBench и сравнили шесть режимов: Claude отдельно, Codex отдельно, самопроверка каждой модели и проверка другой моделью.
Агент-ревьюер видел условие и черновик решения, запускать тесты не мог. То есть это статическая проверка перед CI.
👆Оказалось: второй AI в цепочке сам по себе качества не гарантирует.
Цифры здесь — это сколько задач из 116 прошли тесты.
- Claude Opus 4.7 один: 91,4%
- Codex GPT-5.5 один: 71,6%
👍 Когда Codex писал первый черновик решения, ревью помогало:
- Codex → Claude review: 89,7%
Было 71,6%, стало 89,7%. Это +18,1 п.п. к одиночному Codex.
- Codex → Codex self-review: 84,5%
Было 71,6%, стало 84,5%.
👍 Когда Claude писал первый черновик, ревью не помогало:
- Claude → Codex review: 82,8%
Было 91,4%, стало 82,8%. Это -8,6 п.п. к одиночному Claude.
- Claude → Claude self-review: 91,4%
Было 91,4%, осталось 91,4%.
📈 Читая эти результаты, хочется пошутить что теперь и агентам нужен оргчарт. Кто кому ставит approve: Claude Codex’у или Codex Claude’у - влияет на качество.
• Хороший проверяющий агент помогает там, где решение почти готово: поправить крайний случай, убрать лишнее, заметить ошибку.
• Слабый проверяющий агент делает классическую менеджерскую ошибку: приходит в работающий процесс, всё “оптимизирует” — и после него всё ломается.
🔭 Пора проектировать роли агентов в разработке с агентами (простите за за тавтологию)
Теперь пора учитывать - кто делает первый черновик? Кто проверяет? Есть ли тесты? Может ли проверяющий запускать код? Где человек принимает финальное решение (ну это итак очевидно)? Сколько рабочих решений второй агент улучшил — и сколько сломал?
❕Тут важно понимать, что на LiveCodeBench, где это все проверялось - задачи спортивного программирования; там нет живого репозитория, старого кода, CI, кривых-тестов, песочницы для запуска....
➕ Но, как мне кажется, паттерн все равно полезный.
Если в команде появляется связка «агент пишет → агент проверяет», кроме скорости смотрите еще и на поломки, которые принёс проверяющий агент. Иначе можно очень быстро построить красивый процесс, который уверенно ухудшает результат.