Учёные из MIT создали ИИ-агента, который может взаимодействовать с CAD-софтвером так же, как человек, чтобы превратить 2D-эскиз в полноценную 3D-модель:

он имитирует движения мыши, клики и выбор инструментов внутри интерфейса, повторяя процесс проектировщика.

Ключ к этому – новый набор данных VideoCAD с более чем 41 000 записей действий пользователей, где фиксируются все шаги создания объектов: от перетаскиваний до выбора команд. На основе этих примеров ИИ учится, какие элементы интерфейса выбирать и как переходить от линии к 3D-форме.