TGViewer
Книжный куб Книжный куб @book_cube · 15.7K subscribers
Post #4864 2.9K
Harness Engineering is not Enough: Why Software Factories Fail (Рубрика #AI4SDLC)

Dex Horthy - отличный спикер и я посмотрел его очередной доклад. В предыдущих сериях сооснователь HumanLayer предлагал лечить AI-slop через context engineering и цикл Research → Plan → Implement (доклад "No Vibes Allowed"). А в разборе "The New SDLC" у нас появилась формула Agent = Model + Harness. В новом 19-минутном keynote с AI Engineer World's Fair 2026 Dex ставит к этой формуле важную сноску: хорошая обвязка резко улучшает исполнение, но сама по себе не учит модель сохранять качество архитектуры на длинной дистанции.

Это достаточно интересный и местами отрезвляющий разбор текущего состояния AI-разработки. Но независимым обзором его назвать нельзя. Horthy — сооснователь HumanLayer, компании, которая продаёт AI IDE и инструменты для совместной работы людей и кодинг-агентов. В письменной версии Dex сам предупреждает о возможной предвзятости, а в финале доклада прямо предлагает продукт. То есть перед нами содержательный отчёт практика-провайдера, а не нейтральное исследование рынка. При этом он не сводит метод к своему продукту: для ревью документов прямо называет GitHub, Notion и Plannotator.

Отправная точка — lights-off software factory. Агент пишет код, другие агенты рецензируют изменения и прогоняют regression tests, инциденты и обратная связь пользователей сразу попадают в очередь, а человек перестаёт читать изменения. По рассказу Dex, в июле 2025 года HumanLayer попробовала именно такой режим. Через несколько месяцев команда столкнулась со сложной проблемой, которую агенты не смогли исправить: во время инцидента с недоступностью сайта пришлось разбираться в кодовой базе, за развитием которой люди уже не следили. Это ретроспективный рассказ Horthy о собственной команде без независимых данных, но почти учебный пример потери понимания из моего разбора Loop Engineering.

Почему, по версии Horthy, очередной loop здесь не спасает? На примере SWE-bench Multilingual он показывает test-based оценку: исправлена ли задача, прошли ли новые тесты и не сломались ли старые. По его гипотезе, похожий reward signal не штрафует модель за лишний try/catch, сомнительный cast или shotgun surgery, когда одно изменение расползается по всей системе. Цена плохого program design проявляется через месяцы, а короткий эпизод обучения её просто не видит.

Важно, что Dex честно обозначает границу своего аргумента: доказать деградацию maintainability он не может, потому что хорошего бенчмарка для неё пока нет. Появляются long-horizon evals, а Frontier Code использует multi-PR tasks, но, по его оценке, model-as-a-judge ещё не превращает архитектурное качество в надёжно измеримый сигнал.

Предложение автора — не отказаться от агентов, а «включить свет» и перенести человеческое суждение в начало процесса:

1️⃣ Product requirements: какую проблему решаем, для кого и как поймём, что результат полезен;
2️⃣ System architecture: контракты компонентов, модели данных и ограничения;
3️⃣ Program design: типы, сигнатуры методов, раскладка кода и call graphs;
4️⃣ Vertical slices: порядок реализации и проверяемые сквозные куски вместо огромного горизонтального плана.

Небольшие задачи по-прежнему можно отдавать агенту напрямую. Для крупных Dex предлагает согласовывать решения до реализации, затем читать код и проверять результат по частям. Его практическая оценка — около 30 минут предварительного согласования могут сэкономить часы review; это опыт команды, не результат эксперимента.

И здесь коммерческий интерес снова виден очень хорошо: рецепт явно рифмуется с workflow HumanLayer — Questions → Research → Design → Structure → Plan → Implement. Но полезную границу это не отменяет. Harness помогает агенту лучше выполнить сформулированную задачу; он ещё не заменяет архитектурный вкус, ментальную модель системы и ответственность за то, каким код станет через полгода.

#AI4SDLC #AI #Agents #Architecture #Evals #Engineering
YouTube Why Software Factories Fail In July 2025 Dex Horthy turned the lights off: an agent software factory where nobody read the code. It fell apart. An issue appeared that no amount of prompting could fix, the site was down, users were furious, and he was digging through a codebase he had…
  • ❤ 7
  • 🔥 5
  • 👍 2
More from @book_cube
  1. Oct 1, 2026Заходите на прямой эфир с Никитой Белокопытовым, где мы с ним поговорим про его карьеру и…
  2. Oct 1, 2026Материалы выпуска: как руководить тем, в чём пока не разбираешься — Леонид Черный (Рубрика…
  3. Sep 30, 2026Как обычно превосходный юмор и очень точное попадание во всех топ-менеджеров AI компаний.…
  4. Sep 30, 2026Как инженер учится договариваться (Рубрика #Leadership) 2 октября в 10:30 по МСК в прямом…
  5. Sep 30, 2026Залетайте в прямой эфир про профит от данных, который начнется через 5 минут. Там наше тво…
  6. Sep 30, 2026Начал вчера вечером читать книгу "Человек из будущего" про Джона фон Неймана. Треть книги…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →