Маршрут наговорен

Mistral AI представила Robostral Navigate — модель для навигации, которая помогает роботу находить путь по команде на естественном языке. Ей достаточно одной RGB-камеры: робот получает инструкцию вроде «доедь до двери и поверни направо», смотрит на окружающее пространство и решает, куда двигаться дальше. Лидары и камеры глубины для этого не нужны.

Robostral анализирует "инструкцию" и историю кадров и примерно раз в две секунды выбирает следующую точку движения. Если цель видна, то система указывает ее на изображении, а если нет — задает направление поворота или смещения. При этом Robostral не управляет моторами напрямую. Ее маршрутную точку получает отдельная диффузионная модель.

Систему обучали полностью в симуляции — примерно на 2,4 млн маршрутов в 350 тыс. сценах. Чтобы модель меньше зависела от конкретного робота, разработчики меняли размеры платформы, положение и наклон камеры. После Robostral дообучили с подкреплением на сложных сценариях, где исходная версия чаще ошибалась. Модель успешно стала выполнять 77,4% задач.

Систему проверили на гуманоиде Galaxea R1 и колесном JetAuto. При этом менять пришлось только контроллер, который непосредственно управляет движением каждого из роботов. Роботы прошлись по заполненному офису с препятствиями на пути. Хотя, к сожалению, о проценте успешных случаев умалчивают. Ну, нет конца учению!

@anti_robots