Про автономную разработку софта агентами

Последний месяц все в твиттере обсуждают loops – создание внешних циклов над циклом самого агента. Иначе говоря, разные юзкейсы, в которых агент может работать полностью автономно без вмешательства человека. Самые консервативные из таких циклов – это триаж входящих пользовательских запросов или классификация PR в опенсорсе. Менее консервативные включают в себя написание и автоматический мердж какого-то кода вообще без участия людей в процессе.

Выглядит гипер-заманчиво, в разговорах про автономные фабрики у всех прямо дико загораются глаза. Главных проблемы две:

👉Мы перестаем понимать, как такие системы работают, и сдвигаемся от инженерной работы по созданию детерменистической машины к чему-то ближе к обслуживанию живого организма, поведение которого мы можем наблюдать, реагировать на симптомы, но понятия не иметь о том, как и что на самом деле их вызывает.
👉Текущее поколение моделей не может самостоятельно принимать решения на долгом горизонте. Они овер-оптимизированы на то, чтобы оптимально выполнить текущую задачу. Отсюда растут ноги и у того, что они с радостью могут поломать старые фичи, и у того, что они пишут переусложненный код с обработкой вообще всех возможных эдж кейсов. Со временем без человеческого присмотра система действительно становится непознаваемым организмом.

Казалось бы, если все так плохо, то это тупиковый путь, в который индустрия не пойдет. Проблема в том, что разные внешние факторы все-таки толкают туда. Один из них – безопасность. Вот тут как раз циклы отлично работают, агенты на потоке запускают тысячи экспериментов по поиску уязвимостей, и десятки оказываются успешными. Чтобы противостоять этому, нужно уметь так же быстро их чинить.

Что делать с этим, пока непонятно. Путь с тем, чтобы полностью исключать человека, мне кажется все-таки тупиковым. Я думаю, что решение должно находиться где-то в области очередного поднятия абстракции – нам нужны инструменты, которые будут позволять и понимать все важные изменения системы, и задавать правила ее эволюции, и быстро погружаться в то, что происходит внутри.