🤖 Xiaomi-Robotics-U0-4B: генерация сцен для обучения роботов

Xiaomi представила модель на 4 млрд параметров, которая создаёт и редактирует сцены с роботами по текстовым инструкциям и изображениям.

Можно менять объекты, их расположение, конструкцию робота и ракурсы камер, сохраняя структуру задачи и согласованность изображений с разных точек обзора. Также поддерживается генерация изображений по тексту.

Практическое применение - создание разнообразных обучающих данных, чтобы робот справлялся с незнакомой обстановкой.

В исследовании полная U0 на 38 млрд параметров заняла первое место в World Arena в категории генерации видео для робототехники. Использование сгенерированных данных повысило успешность π0.5 на реальных задачах вне обучающего распределения с 36,9% до 63,2%. Эти результаты относятся к полной системе.

Для U0-4B заявлены Apache 2.0, код инференса и интерфейс Gradio.

Модель - https://modelscope.ai/models/XiaomiRobotics/Xiaomi-Robotics-U0-4B

Статья - https://arxiv.org/abs/2607.11643