🤨 Роботы учатся пользоваться инструментами просто глядя на людей

Инженеры представили систему Tool-as-Interface, которая позволяет роботам осваивать новые навыки по видео с людьми. Машинам больше не нужно пошаговое программирование — они смотрят ролик и повторяют действия.

Система работает на базе компьютерного зрения. Достаточно пары кадров с обычной камеры, чтобы построить 3D-модель происходящего. Дальше применяется метод 3D Gaussian Splatting, который дорисовывает сцену под разными углами, и робот «видит» всё почти как человек.

В тестах такая система справлялась с задачами на 71% лучше и собирала данные на 77% быстрее, чем традиционное телеуправление. Авторы отмечают, что теперь роботы смогут учиться буквально по YouTube, а значит, человечеству скоро грозит наплыв машин, знающих все лайфхаки по ремонту, готовке и сборке мебели из ИКЕА.

————————————————
@AI_FutureNow - IT, технологии, нейросети и бизнес