RoboBrain: как робот понимает глубину 3D-сцены и учится самоконтролю

Роботы уже неплохо распознают предметы и понимают команды на уровне слов. Но как только дело доходит до реального мира, начинается самое сложное: нужно не просто увидеть кружку, а понять, на каком она расстоянии, на какой высоте держать руку, как не задеть соседние предметы и насколько вообще действие продвинулось. Для человека это интуитивно, а для робота легко превратить простую просьбу в череду ошибок.

И вот тут появляется интересный вопрос: можно ли научить модель не только думать в картинках, но и чувствовать глубину и ход времени так же уверенно, как мы? Чтобы она умела заранее набросать понятную 3D-траекторию движения и по видео в процессе честно понимать, мы приближаемся к цели или топчемся на месте.

Разберём RoboBrain 2.5: как устроены их 3D-трассы с глубиной, зачем роботу плотная оценка прогресса по кадрам и почему именно эта связка даёт заметный прирост на бенчмарках.

📜 Полный обзор