Так еще не рискуя за свой рабочий пк.
Обычно все Computer Use просто делают скрин экрана и отдают его в LLM.
Но у Cua работает по-другому, он возвращает вместе с картинкой еще и дерево доступности элементов приложения.
То есть агенту не нужно считать примерные координаты, он сразу понимает где расположена нужная кнопка.
Есть два режима:
1/ Управление реальными окнами на текущем рабочем столе
2/ То же самое управление только в отдельной изолированной среде
У него есть CLI и MCP, можно использовать вместе с Claude Code, Codex и любыми другими агентами.
Поддерживает macOS, Windows и недавно появился Linux.
Чтобы установить скормите своему агенту этот промт:
1. Прочитай документацию по ссылке ниже и установи cua-driver на мой компьютер.
2. После установки запусти его.
3. Настрой для Codex MCP и skill для cua-driver.
4. Открой калькулятор Windows для теста, посчитай 123*456=? и скажи мне результат.
https://cua.ai/docs/cua-driver/guide/getting-started/introduction
Я еще писал что в Windows версии Codex есть проблема, что Computer Use не может работать в фоне, Cua исправит, так что смело отправляйте своего агента взаимодействовать с UI.
GitHub
@tips_ai #tools