Что такое Computer Agent?
Computer Agent — это ранний прототип ассистента, который воспринимает содержимое экрана так же, как человек, и вместо заранее «зашитых» сценариев реагирует на визуальный контекст: видит кнопки, поля ввода, всплывающие окна и кликает мышью в нужные координаты, печатает текст, прокручивает страницы.
При нынешней скорости прогресса через год ассистент сам будет запускает любое ПО и выполняет задачи. Это выглядит не фантазией, а ближайшим этапом эволюции интерфейсов.
Предлагаем вам за 5 минут попробовать 2 задания ⬇️
Скопируйте любой абзац в поле "Task" демо-окна — и смотрите, как цифровой ассистент нервно водит курсором по экрану, время от времени попадая по нужным элементам. Если всё внезапно сработает — считайте, что вам выпала удача.
1️⃣ Заполнить форму
Open https://www.w3schools.com/w3css/tryit.asp?filename=tryweb_architect_contact.
In the result pane type Ivan Petrov / ivan@example.com / Test run / Hello from HF agent,
click “Send Message”, wait for action_page.php, then write Form submitted – {{title}}.
2️⃣ Узнать часы работы кофейни
Open https://www.starbucks.com/store-locator.
In the search bar type 170 O'Farrell St San Francisco CA, press Enter,
click the first result and paste the opening-hours line here prefixed Hours:.
Наш опыт:
➡️ Доступ в демо занял ~10 мин. Виртуальная машина — Firefox в headless-режиме, latency ощутимый, что осложняет точные клики.
➡️ Агент успешно создал тестовые файлы в указанной директории — значит, базовые операции с файловой системой ему по плечу.
➡️ На сайте расписания электричек бот корректно выставил дату, но «заблудился» при выборе поля городов: визуально похожие элементы породили ложные позитивы в attention-map.
➡️ Сегодняшняя версия напоминает пожилого родственника, который только что закончил курсы «Windows for Beginners»: знает, что такое двойной клик, но путает правую и левую кнопку. Однако именно отсутствие жёстких скриптов делает проект ценным — агент принимает решение на лету, опираясь на реальную картинку. Когда модели научатся устойчиво различать динамические элементы и классифицировать сложные виджеты, появится универсальный «прокси-слой» между человеком и любым GUI.
📌 Вывод
Прикладной выгоды пока почти ноль, но как витрина следующего шага в развитии VLM-ассистентов Computer Agent выполняет свою роль на отлично. Через год-полтора подобные системы могут стать рабочим инструментом для «безручного» RPA и голосового управления настольными приложениями — следим и тестируем дальше.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться