Microsoft показала нового GUI агента, который кликает по интерфейсу за вас.

Компания представила компактную 4B GUI-модель, которая умеет работать с графическим интерфейсом почти как человек: видеть экран, находить нужные элементы, нажимать кнопки и выполнять задачи без API.

Самое удивительное — размер модели. Всего 4 млрд параметров, но на специализированном GUI-бенчмарке она показывает результат 82,9%, опережая ряд значительно более крупных закрытых моделей.

Для промышленности это может стать настоящим прорывом.

Большинство предприятий до сих пор работают со старыми ERP, MES, SCADA и инженерными приложениями, где интеграции сложны, дороги или вообще невозможны. GUI-агенту они не нужны — он просто работает с интерфейсом так же, как оператор.

Это открывает сотни новых сценариев: управление ERP, производственным и другим legacy-софтом без переписывания и дорогостоящих интеграций.

https://huggingface.co/microsoft/GELab-Zero-4B-preview-Sico-Evolution