😸 Филимон с новостями из мира роботов

Для навигации по незнакомому зданию роботам часто нужны лидар, камеры глубины или заранее построенная карта. А Mistral AI решила проверить: что будет, если оставить навигационной модели одну обычную RGB-камеру?

🤖 Так появился Robostral Navigate — 8B-модель, которая получает изображение с камеры и текстовую команду вроде:

«Выйди из холла, пройди по коридору и остановись у второй полки».

🧠 Вместо классического маршрута по карте модель указывает следующую точку прямо на изображении. Если нужного места в кадре нет, переключается на команды вроде: «проедь два метра вперёд и поверни налево».

Получается почти по-человечески:

👀 увидел → понял → выбрал, куда ехать дальше.

Навигацию обучали в симуляции: Mistral сгенерировала 2,4 млн маршрутов в 350 тысячах виртуальных сцен. А специальная схема обучения сократила количество токенов в 22 раза — месяцы вычислений превратились в дни.

🏆 На виртуальном тесте R2R-CE для незнакомых помещений модель показала 77,4% успешных прохождений, обойдя некоторые системы с несколькими камерами и датчиками глубины.

⚠️ Но без магии: одна камера нужна именно навигационной модели. Реальному роботу по-прежнему необходимы контроллеры движения, системы безопасности и интеграция с железом.

Раньше роботу давали карту и пачку датчиков, теперь говорят: «Вон туда 👉🎯».

😸 Филимон предлагает вам подробнее почитать про технологию в Дзене, а сам пошёл объяснять роботу, где стоит миска.