В чём разница? ИМХО, это ключевой вопрос, чтобы ИИ-трансформация вообще запустилась (без ответа на него всё остальное будет вхолостую стрелять). И у меня есть подсказка: причина ровно та же, по которой ИИ так хорошо делает код. Именно код, а не презентации, отчёты или посты на Дизраптор (их он вообще не пишет - говорит "не могу осилить, не мой уровень").
Меткая мысль на эту тему попалась в колонке Дмитрия Ушанова, директора ИИ-центра Т-банка. Если кратко, то агенты быстрее заходят туда, где результат можно ТОЧНО проверить относительно малой кровью, а цена ошибки при этом, ну, приемлемая. Эта мысль кажется базой-основой, но если её развернуть, то есть важный нюанс, смотрите:
Обычно успех эйай в разработке объясняют так: "Код = сплошь текст, а LLM в тексте хороши". Но договор - это тоже текст. Как и коммерческое предложение. И много что ещё. Однако, агентов-юристов в проде почти не видно. Но зато агентов-разрабов пруд-пруди.
Прикол в том, что у кода есть бесплатный "проверяющий": компиляторы, тесты, флаги "запустилось / упало" и т.д. Агент написал фигню → среда сразу дала ему по щам → агент переписал. Нужно всего три итерации, а человек в этой цепочке в общем-то не прям нужен (на практике пока скорее нужен, но всё идёт к тому, что ключевое слово "пока"). А вот с ошибкой в договоре так не получится - она всплывёт через полгода в суде, ошибка в закупке - при отгрузке через квартал. И проблемы будут совсем другого уровня.
Получается, главное узкое горлышко в реальном внедрении - не интеллект модели (с ним всё уже более-менее гуд, при чём у всех LLM), а цена верификации. Проще говоря, насколько дёшево и сердито можно проверить, что агент не накосячил.
И тут бизнес делает логичный манёвр: "раз проверять некому - поставим человека". Это называется human-in-the-loop (HILT), "человек в контуре". Агент делает - кожаный перепроверяет и жмёт "ок". Но прикол в том, что это только кажется разумным компромиссом, а по факту самый дорогой режим из возможных: вы платите и за токены, и за человека, а человек ещё и тупеет, потому что 95% времени просто кликает "ок" (примерно как чувак, который сидит за рулём беспилотного такси на тестовых прогонах). Ушанов так и пишет: если модель плюс контроль стоят дороже процесса без ИИ, то оно вообще зачем?
Это напоминает "зловещую долину" у роботов: полностью ручной процесс - окей, полностью автономный - тоже окей, а посередине какая-то стрёмная фигня.
Отсюда и ответ на вопрос из заголовка:
Компании, которые добротно внедрили агентов, сначала перепилили процесс так, чтобы у него появился свой "компилятор": формальные критерии, проверяемый результат, и нативный (то бишь, по дефолту предполагаемый) контроль на стыках между шагами. Разработчики получили это бесплатно от природы, а всем остальным придётся "поработать напильником".
Так что, если ваш агент второй год живёт в статусе пилота - скорее всего, вашему процессу просто нечем проверить, что агент всё делает правильно, не врёт и не
Дизраптор