Или как контентщику использовать инструменты разрабов.
Вводные: агенты у меня сейчас живут в GitHub и запускаются из Code или Codex (в работе их миграция в различные окружения, но пока так). Качество генерируемых текстов я контролировал через промпты и агенты проверки: правила в контексте, отдельный субагент-фактчекер, редакторская вычитка. Я им доверял и, в общем, не зря, они ловят многое.
Но у этого доверия есть слепое пятно. Всё это живёт внутри сессии. Проверка случается, если агент про неё "вспомнил", если правило доехало в контекст. А когда что-то из этого не сработало, то ты узнаёшь об осечке уже когда сам садишься вычитывать.
Когда я начал работать над качеством, то первым порывом было докрутить сами промпты в агентах — прописать проверки жёстче. Я сделал и поймал проблему раздувания контекстного окна, но про это в другой раз. Однако, такое решение было лишь дополнением в уже существующий слой: заостряешь проверку и надеешься, что все правила доедут. Стало ясно, что нужен контроль снаружи процесса, а не внутри него.
Так появился слой на GitHub Actions. Устроено просто: на каждый сгенерированный материал запускается единая команда
make check, за ней — цепочка проверок: тесты, валидация структуры, десятки детекторов на отдельных скриптах. Каждый отвечает за свой сюжет: один считает плотность тире и ищет следы машинного текста, другой сверяет цифры в документации, третий ловит устаревшие данные и битые ссылки, ещё один проверяет, что стадии пайплайна реально шли в изоляции, а не слиплись.
Часть проверок работает точечно только по тому, что изменилось. Результат не тонет в логах. Робот оставляет один аккуратный комментарий прямо в задаче и обновляет его на месте, а не плодит новые.
Почти все проверки я сделал мягкими: они советуют, но не блокируют, финальное слово за мной. Жёстко останавливает только то, что реально ломает сборку. Логика простая: агентам я по-прежнему доверяю, GitHub не заменил их, а стал вторым контуром.
В итоге я перестал держать в голове тревогу «а точно ли всё проверилось». Теперь на это отвечает не моя вера в процесс, а сам процесс.
#ai_agents #github