RoboDojo — единый бенчмарк воплощённого искусственного интеллекта в робототехнике

Исследовательская группа Гонконгского университета совместно с учёными из ведущих университетов мира, включая Университет Цинхуа, Стэнфордский университет и MIT, представила RoboDojo — единый Sim-and-Real бенчмарк для оценки воплощённого ИИ в робототехнике. Он объединяет испытания систем управления роботами в симуляции и на реальных роботах. RoboDojo позволяет проверить, насколько хорошо робот выполняет различные задачи, работает с новыми объектами и условиями, использует ранее полученную информацию и выполняет последовательности действий. Такой подход позволяет оценивать возможности воплощённого ИИ не только в виртуальной среде, но и при непосредственном взаимодействии с физическим миром.

Симуляционная часть RoboDojo включает 42 задачи в NVIDIA Isaac Sim. Они разделены на пять направлений: работа в новых условиях, использование памяти, точность, выполнение длинных последовательностей действий и следование инструкциям на естественном языке. Среди заданий — классификация и сортировка объектов по словесным инструкциям, складывание блоков и одежды, установка деталей, закручивание винтов, использование инструментов, переливание жидкости и выполнение длинных последовательностей действий. Некоторые сценарии требуют учитывать информацию, полученную на предыдущих этапах.

Чтобы ускорить испытания, RoboDojo использует параллельное моделирование в Isaac Sim. Разные задачи, сцены и процессы могут выполняться одновременно, что позволяет значительно увеличить скорость оценки и проводить большое количество испытаний.

Вторая часть системы — RoboDojo-RealEval, которая переносит оценку из симуляции в реальный мир. Она включает 18 задач и три двурукие роботизированные платформы: ARX X5, Piper и Piper X. Сценарии включают классификацию и сортировку объектов, упаковку, складывание предметов, установку деталей, приготовление пищи и другие задачи, требующие непосредственного физического взаимодействия с объектами.

Испытания на реальных роботах позволяют выявить проблемы, которые невозможно в полной мере воспроизвести в симуляции: шумы сенсоров, ошибки приводов, особенности физического контакта между роботом и объектами и другие параметры. Чтобы результаты разных испытаний можно было сопоставлять, разработчики стандартизировали конфигурацию оборудования, процедуру сброса сцены, протокол оценки и интерфейс развертывания систем управления.

RoboDojo-RealEval также поддерживает удалённую оценку через облачную инфраструктуру: разработчик может подключить свою систему управления к роботизированной платформе RoboDojo и провести испытание на реальном роботе дистанционно, не имея такого оборудования у себя.

Для подключения различных систем управления разработчики создали XPolicyLab — программную инфраструктуру с единым интерфейсом. Она позволяет подключать разные системы управления к общей среде RoboDojo, после чего их можно оценивать как в симуляции, так и на реальных роботах с минимальной адаптацией самой системы управления. В рамках исследования авторы интегрировали 30 систем управления роботами и сравнили их результаты на RoboDojo.

Главная идея RoboDojo заключается в объединении двух уровней оценки - масштабных испытаний в симуляции и проверки на физических роботах. Это позволяет не только сравнивать системы управления по большому числу задач, но и проверять, насколько хорошо их возможности сохраняются после перехода из виртуальной среды в реальный мир. В результате RoboDojo создаёт единый подход к оценке универсальных систем управления роботами и помогает выявлять их сильные и слабые стороны.

Полная научная статья доступна на arXiv.

Наш канал в Мах