Свежая Argon набрала 87% на ERQA, тесте на рассуждения о физическом мире для роботов, причём без внешних инструментов, только за счёт рассуждений. По словам Google, это лучше любой другой передовой модели.
Модель управляла роботом Spot от Boston Dynamics и собрала в симуляторе MuJoCo цифровую копию мусорного ведра с педалью, отрепетировала на ней движения, а затем заставила настоящего робота наступить на педаль и выбросить банки.
Простой манипулятор с камерой на запястье по её командам поднял упавшую кружку и положил в неё скомканную салфетку. Для этого модель за несколько шагов перебирала действия
посмотреть, схватить, переместить и положить.Ещё одна сцена была собрана по рисунку от руки. Там гуманоид бросал мяч и сбивал пирамиду из шести коробок, все шесть упали.
🟡 Argon умеет размечать записи чужих роботов
Видео, на котором двурукий ALOHA 2 136 секунд складывает лису из бумаги, модель разбила на шесть подзадач и 17 элементарных движений, при этом участки с неудачными попытками пометила как не продвигающие работу.
На маленьком манипуляторе SO-101 модель сама разбирала по логам и видео, почему не удался захват кубика LEGO, и за три попытки сократила время задачи с 58,9 до 17,4 секунды.
По одной фотографии рабочего места с двумя манипуляторами Franka Argon собрала откалиброванную симуляцию, придумала 77 задач и сгенерировала больше 4500 эпизодов.
Дообученная на них модель VLA стала справляться с реальными задачами в 75% случаев вместо 56%, а среднее время выполнения сократилось с 35 до 24 секунд.
@ai_machinelearning_big_data
#news #ai #ml