Агенту дали мышь и терминал — шагов стало на 57% меньше

4 сентября исследователи представили CUA-Universe — среду, где агент управляет приложением через GUI и CLI, работающие с общим состоянием. Экран нужен для поиска и визуальной проверки, а точные и массовые изменения выполняются командами.

Система автоматически подготовила виртуальные среды и CLI-инструменты для 16 приложений — от Blender и GIMP до VS Code и LibreOffice. На 4 923 проверенных траекториях дообучили модель Qwen3.5-9B.

На OSWorld гибридный агент повысил успешность на 16,8 процентного пункта, выполняя на 57% меньше шагов и расходуя на 44% меньше токенов. Улучшение сохранилось и на OSWorld-MCP с другим, не встречавшимся при обучении интерфейсом инструментов.

Вывод: computer-use агента не стоит ограничивать кликами по пикселям. Дай ему единый слой действий: GUI — для визуальных задач, CLI или MCP — для точных и проверяемых операций.

Ограничения пока заметные: только Linux, сценарии внутри одного приложения, а код и данные авторы ещё лишь обещают опубликовать.

Исследование CUA-Universe от 4 сентября 2026 года

#aiagents #computeruse #guiagents #cli #mcp #agentarchitecture

@data_engi