Xiaomi представила прорывную модель Xiaomi-Robotics-0 для роботов

Компания Xiaomi анонсировала новую модель Vision-Language-Action (VLA) - Xiaomi-Robotics-0. Разработка ориентирована на высокую производительность и выполнение задач в реальном времени без задержек. Система получает на вход изображение с камеры и текстовую инструкцию, преобразуя их в команды для исполнительных механизмов робота.

Архитектура новинки является гибридной: визуально-языковая часть на базе Qwen3 отвечает за анализ сцены и понимание задачи, а диффузионный трансформер (DiT) генерирует последовательность движений через алгоритм flow matching. Такое разделение труда позволило устранить ключевую проблему роботов-помощников — паузу на «обдумывание» следующего действия.

Xiaomi применила Lambda-маску внимания - механизм, при котором система уже строит план следующего шага,пока завершает текущий. Асинхронный режим запускает расчет новой порции команд параллельно с исполнением предыдущих, поэтому манипулятор не замирает ни на секунду.

Модель была обучена на огромном массиве данных: 204,9 миллиона временных меток траекторий движений роботов и более 82,3 миллиона данных для поддержания возможности нейросети распознавать текст и изображения. Общий размер модели — 4,7 миллиарда параметров. Задержка обработки (инференс) на RTX 4090 составляет всего 80 мс.

В тестах на симуляционных платформах LIBERO, CALVIN и SimplerEnv новинка превзошла около 30 других моделей. Практические испытания на двуручных роботах-манипуляторах подтвердили эффективность разработки: роботы успешно справлялись с разборкой конструктора Lego и складыванием полотенца.

Источник: Xiaomi