Статья, конечно, по большей части лежит в теоретической плоскости, потому что вряд ли кто-то сейчас доверит LLM что-то более серьезное, чем сверстать статическую страничку или пересказать статью, без дополнительной перепроверки результатов. Чтение сырых логов, приложенных к статье, показывает, что даже самые продвинутые модели часто не понимают задачу, дают при одних и тех же вводных большой разброс в оценках, не справляются с простыми последовательностями действий и пишут полную ерунду. При этом ожидания от них, подогреваемые маркетингом, становятся все больше, и мы ожидаем, например, что они станут полноценными партнерами для разработчиков. Но что если условный Devin из будущего вместо того, чтобы написать вам тесты, отправит код фрилансеру в Индии, заплатив с вашей карты или, обнаружив тест, который не проходит, просто напишет assert True, чтобы вас не расстраивать? Это уже вопрос безопасности, а потому стоит надеяться, что за этой статьей появятся более строгие методы оценивать то, насколько задаваемые при обучении LLM формальные цели совпадают с реальными.