Harness Engineering: знакомые идеи под одной обложкой (Рубрика #Books)

У O’Reilly есть книга Nicole Koenigstein "Harness Engineering". Пока это early release, всего две главы, но я ей заинтересовался после наших разборов harness для Research Insights. У меня возник вопрос, а сколько нового даёт книга человеку, который уже читал исходные статьи?

Мой предварительный ответ: большая часть концептуальной основы этих двух глав уже есть в материалах, которые мы обсуждали. Книга собирает её в последовательное объяснение устройства агентной системы. И качество этой сборки ещё предстоит оценить.

Вот где идеи пересекаются:
🔸 Модель сама по себе ещё не рабочий агент
В Research Insights #33 про SWE-agent мы разбирали, как инструменты, интерфейс и обратная связь меняют результат той же модели. Книга начинает с этого же общего тезиса и показывает его на разборе инцидента.
🔸 Контекст заканчивается, задача продолжается
В #34 про долгоживущих агентов — список функций, журнал прогресса, git и передача работы следующей сессии. Во второй главе книги эта проблема получает более общий язык: состояние задачи должно переживать вызов модели и процесс.
🔸 Цикл должен уметь отклонить результат
В разборе Loop Engineering мы уже проходили путь от промпта и контекста к обвязке, проверке и сохранению состояния. В книге модель предлагает откат сервиса, а код исполнения блокирует действие без разрешения. Просьба «соблюдай правила» превращается в проверяемое ограничение.
🔸 Инженер проектирует среду и обратную связь
Это пересекается с кейсом OpenAI, который я разбирал для #35: знания доступны агенту, границы закреплены проверками, ошибки возвращаются в процесс.

Это сопоставление идей. По двум главам я не могу установить, какие именно статьи использовала автор. Но читателю наших разборов знакомая основа будет хорошо видна.

При этом у книги есть полезная добавка. Во второй главе отдельно разобраны checkpoint, история событий и записи внешних эффектов. Где продолжить работу, что произошло и какое действие нельзя случайно выполнить второй раз — три разных вопроса. Ещё есть разделение идентификатора задачи и права доступа к ней. Такая детализация делает обзор ближе к проектированию системы.

А вот чего мне пока не хватает — проверки применимости рецептов. В своём лонгриде об эволюции harness я отдельно разбирал, как меняются его части вместе с моделью. В продолжении Anthropic автор убирает принудительные сбросы контекста и затем спринты по мере перехода к более сильным моделям. Права доступа остаются обязанностью системы; конкретная процедура планирования требует пересмотра. А в завтрашнем выпуске #38 с разбором "An Empirical Study of Harness Design for Coding Agents", о которой я уже писал, есть экспериментальный подход к оценке разных частей харнесса и как они влияют на итоговый результат.

В книге пока преобладает перспектива улучшения обвязки при фиксированной модели. Отключение проверок на записанной последовательности ответов хорошо объясняет механизм, но ещё не измеряет выигрыш на реальных задачах. К тому же обещанные ноутбуки по присланной версии проверить нельзя: в начале глав сказано, что GitHub-репозиторий появится позже.

Поэтому сейчас я вижу перспективную систематизацию знакомого материала. Если вы пропустили нашу серию, книга может дать удобный вход. Если следили за разборами, первые две главы скорее помогут разложить знания по полочкам. От следующих жду работающего кода, трудных случаев восстановления и объяснения, когда очередной элемент harness стоит усложнения системы.

#Books #AI4SDLC #Agents #Architecture #Engineering #ResearchInsights