ByteDance выложили UI-TARS Desktop, аналог Джарвиса из "Железного человека"

Пока мы ждали доступ к API от Anthropic, ByteDance молча зарелизили полноценного GUI-агента, который работает локально. Это не просто чат-бот, а VLM-модель (Vision Language Model), которая буквально «сидит» за вашим компьютером.

Что под капотом UI-TARS: → Pure Vision: Ему не нужен доступ к DOM или Accessibility Tree. Он анализирует скриншоты и мапит координаты, как человек. →

Локальность: Работает на вашем железе (или через vLLM). Никакой отправки скриншотов рабочего стола на чужие сервера.

→ Результаты: В бенчмарке OSWorld (управление ОС) модель UI-TARS-1.5 обошла GPT-4o и Claude 3.5 Sonnet.

Это End-to-End решение: скачал, запустил, дал задачу «Заполни отчет в Excel на основе этого PDF» — и пошел пить кофе.

Ссылка на GitHub

Рискнете дать нейронке полный доступ к мыши и клавиатуре?

🔥 — Да, будущее уже здесь
🙊 — Только в песочнице/виртуалке
🥶— Никогда, rm -rf / не дремлет