Фреймворк EchoPolicy-0 занял первое место в мировом рейтинге MolmoSpaces по управлению роботами

Фреймворк EchoPolicy-0 китайской компании Magic Atom занял первое место в рейтинге MolmoSpaces Combined — авторитетном мировом бенчмарке по робототехнике от Института искусственного интеллекта Аллена (AI2). Средняя успешность выполнения операций по 4 задачам составила 75,4%, оценка проведена по итогам 3915 тестовых эпизодов.

В том же рейтинге и той же группе собственный фреймворк компании MagicBrain занял 4-е место с результатом 72,4%, при этом в задаче на захват объекта он достиг 94,4% успешности — и первого места в этой номинации.

MolmoSpaces проверяет модели в условиях, которых те не видели при обучении: более 230 000 виртуальных помещений, около 130 000 объектов, произвольное расположение предметов и их физическое состояние. Прежде успешность захвата у подобных систем держалась около 70%; результат 94,4% Magic Atom называет приближением к порогу применимости на реальном производстве.

EchoPolicy-0 и MagicBrain решают общую проблему робототехники с разных сторон. Системы типа VLA (visual-language-action) хорошо воспроизводят движения, но плохо понимают языковые инструкции: модель, которой говорят «возьми яблоко», может схватить лежащую рядом грушу — не из-за слабого захвата, а из-за неверной привязки слова к объекту на изображении.

EchoPolicy-0 обходит это через агентный фреймворк: верхний уровень (языковая модель с пространственными инструментами) разбивает задачу на подцели, нижний уровень генерирует несколько вариантов траектории движения, затем визуальная модель выбирает наиболее подходящий и после выполнения проверяет результат.

Перебучивать саму модель движения не нужно — достаточно улучшать механизм выбора и верификации. Текущая версия проверена на роботе-манипуляторе Franka.

MagicBrain идёт другим путём — контекстного визуального направления (In-Context Visual Guidance): агент верхнего уровня находит нужный объект и целевую зону и передаёт их координаты непосредственно в наблюдение нижней модели в виде визуальных меток. Модель движения при этом не меняет архитектуру, а обучается соотносить метки с действиями. Параметрический объём MagicBrain — 3,4 млрд параметров.

Руководитель лаборатории MagicLab Studio сообщил, что следующий шаг — объединить оба подхода в единый цикл от понимания задачи до физического исполнения и проверить его в реальных промышленных условиях.

Источник: QbitAI (🇨🇳)

#MagicAtom #EchoPolicy0 #MagicBrain #робототехника #воплощённыйИИ