🔥 Qwen-CUA показывает: сильному компьютерному агенту достаточно экрана, мыши и клавиатуры

Главная идея: AI может работать с любым приложением так же, как человек — через обычный интерфейс.

Без:

- DOM сайта;
- API конкретного приложения;
- accessibility labels;
- специальных инструментов под каждую задачу.

Агент получает только скриншоты и управляет компьютером через клики и нажатия клавиш.

Для обучения использовали:

- около 40 000 проверяемых задач;
- почти 100 000 виртуальных CPU-ядер;
- множество разных программных окружений.

Главная проблема таких агентов — длинные задачи.

Ошибка в начале может сломать весь сценарий, а правильный результат часто становится понятен только в конце.

Qwen-CUA решает это через визуальную память:

- хранит последние 20 скриншотов;
- старую историю сжимает;
- сохраняет контекст предыдущих действий.

Результаты:

- OSWorld-Verified: 86.2 балла
- сложные long-horizon задачи всё ещё остаются большим вызовом.

Самый интересный вывод:

Скриншот может стать универсальным API для AI-агентов.

Вместо создания интеграции для каждого приложения отдельно, агент учится работать с тем же интерфейсом, которым пользуются люди.

📄 Paper:
https://arxiv.org/abs/2608.02352

Qwen-CUA: Native Computer Use for (almost) Everything