⚪️ Доработка плана свармом (plan swarming)

Несколько слов о том, почему я в последнее время перестраиваю свой флоу в том числе на использование свармов (термин тут поясняется - https://t.me/deksden_notes/269).

В общем, пишу я тут планы с агентом. Примерно два-три часа диалога на предмет чего там и как, снимаем gaps, дорабатыаем, все вопросы отвечаем, прописываем. ок - наконец то вкатываем. меморибанк планируемый апдейт: пучкок ADR, Specs с разным (границы сущностей, контракты, протоколы взаимодействия), фичи, интеграционный протокол доработки. Немаленькая штука получается. Агенту все нравися (кодекс 5.4 high).

👉 Тут я и решил экспериментик провести. 

1️⃣ Натравил на оригинальный контекст свой промпт на рефлексию/ревью плана (довольно простой, в плане исследования разное по аспектам указано: от С4 структурирования до ui). Для эксперимента это не так важно. Поработав, оно выдает мне 12 (!!!) high/medium risk недоработок по плану! omfg. Читаю - да, там контракты разъехались, тут миграция недопрописана, - в общем, вполне реальные источники багов. 

И я понимаю что рефакторинг я затеял не по зубам бюджету внимания. Что делать? Отказываться от габарита задачи и резать на блоки?  Ну что за пораженчество, - нет конечно, появился перкрасный повод для эксперимента!)) Правильно подумали - ударим свармом по дефициту внимания! Пускай компьют зальет недостаток голов внимания.

▶️ Запускаем тот же самый промпт, только делаем его сварм-ориентированным: указываем что 5 субагентов на основании письменного задания проводят исследование (каждый смотрит по всему плану ревью), формируют итоговые отчеты, а оркестратор интегрирует их в свой отчет. 

‼️ Цель эксперимента: показать что мультисамплинг частично компенсирует недостаток внимания.

Замечу, мы это запускаем после того как разок уже полирнули и устранили 12 важных недостатков. 

Итоги эксперимента?  Еще 11 issues с которыми согласен оркестратор (а он, между прочим, делал этот план), и из них 5 high приорити. Опять недотянутые контракты, непройденные до конца сценарии. 

▶️ Продолжаем. Теперь мы ьерем ТОТ ЖЕ промпт, но просим нарезать план ревью на фокусные аспекты, и по каждому из фокусов запустить отдельного субагента. Обмен - тоже через файлы, конечно. 

‼️ Цель эксперимента: показать что фокусировка сильно улучшает качество работы - это все таки значительное сужение габарита задачи

Результат: напомню, что в документации уже ВСЕ выявленные ранее изменения, это мы выкапываем то, что не заметили ранее. Нашли еще 7 недостатков, в том числе один high. Негативные сценарии недоработаны, сценарии доказательств недотянуты, двусмысленности, границы и формализация процессов.

Применяем выявленные исправления. Уже скромнее, да. 

▶️ Да, мы не остановимся: теперь мы будем на каждый фокус запускать5 субагентов. Всё то же самое, но 5 раз по каждому фокусу с интеграцией в единый отчет. Сумеем ли мы вытянуть что то существенное? 

‼️ Цель эксперимента: показать что мультисемплинг - мощь, которой можно усилить фокусировку.

Результат: получилось 5 фокусов, и 5 семплов, итого 25 запусков субагентов. большей частью уже medium/low, значит что могли почти все нашли. 1-2 high важности, но я не все бы так оценивал. Кстати, оркестратор их и не взял за high по итогу. Но находки вполне полезные - детали стыковок протоколов взаимодействия, контрактов. 

Применяем. Уф. Скромнее, но все равно нашли чего то важное! Неплохо. Главное - убедились что модель уже ничего доработать существенного не может, значит точно все что можно нашли. 

(...) продолжение: https://t.me/deksden_notes/666

@deksden_notes