Настало время вспомнить про Мартина нашего Фаулера, у него на сайте еще весной вышла отличная статья от Биргитты Бёкелер про про harness engineering:
Birgitta Böckeler — Harness engineering for coding agent users
Она по сути пытается кодифицировать инженерное окружение, которое помогает coding-агентам работать автономнее и надёжнее. Главная мысль проста: качество результата определяет не только модель.
Агенту нужны:
— правила и контекст, которые могут направить его до работы;
— тесты, линтеры и архитектурные проверки, которые дают быструю обратную связь;
— цикл самокоррекции, в котором найденная ошибка исправляется до прихода человека (местами пока фантастика, но кое-что уже работает).
Особенно мне понравилось разделение проверок на вычислительные — быстрые и детерминированные — и смысловые, выполняемые другими моделями.
Получается такой сдвиг — мы проектируем среду, в которой агенту проще сделать правильно и сложнее — незаметно ошибиться. Кажется, мы все пришли к этим выводам, но Биргитта это зафиксировала текстом.
За нами остается важная задача. Определить, что значит «хорошо», и встроить это в систему.