👨‍💻 Что на самом деле автоматизируют роботы

Клубника, металлические шайбы, сэндвичи и футболки требуют от робота почти одного и того же: найти предмет, взять, перенести и положить. Отличается лишь точность, с которой нужно попасть в цель.

Physical Intelligence делает модели, которые управляют роботами: они получают картинку с камер и текстовую команду, а на выходе выдают движения манипулятора.

Такие модели называют VLA (vision-language-action), и открытые версии π0 и π0.5 компания обучила на более чем 10 000 часах записей работы роботов.

🏫 Модели рассчитаны на разных роботов, но под конкретную машину и задачу их приходится дообучать на собственных материалах, а для этого нужны данные, дорогие GPU и инженеры.

Эту часть работы теперь берет на себя Pi API, бету которого компания запустила 14 октября. Партнер загружает записи своего робота, дообучает свежую модель Physical Intelligence на ее мощностях и подключает робота через облако. Затем он проверяет результат и отправляет неудачные попытки в следующий круг обучения. Almond за четыре дня таких итераций научила двурукого робота Axol снимать заусенцы с металлических проставок.

Первыми API опробовали стартапы из логистики, производства, общепита, сельского хозяйства и строительства, и Varun считает, что их задачи сводятся к четырем основным направлениям.

🟢Перекладка предметов на складе и в цеху. Ultra, Formic, DM Robots и Frontier Machines берут предметы из кучи и укладывают их в коробки и пакеты, Deft и Argon ставят металлический профиль или посуду туда, где их будут хранить, обрабатывать или мыть. Yondu и Robot.com добавляют к этому передвижение: робот сам ездит между точками, раскладывает товар по полкам или кладет заказ Uber Eats в робота-доставщика.

🟢Сборка и работа с инструментом. Foundry собирает разные изделия мелкими партиями, Gen Instinct разбирает электронику, Almond шлифует детали, а CloudChef набирает кукурузу ложкой. Простого попадания в нужную точку не хватит: приходится держать контакт с поверхностью, дозировать усилие и соблюдать порядок шагов. Инструмент к тому же расширяет возможности робота без отдельного захвата под каждую задачу.

🟢Еда и одежда. Chef Robotics собирает сэндвичи, Omakase наливает напитки, Intuition и Weave складывают вещи. Продукты бывают разными, кухня требует соблюдения гигиены и работы рядом с людьми, а ткань не имеет постоянной формы, поэтому робот на каждом движении заново ищет края и углы.

🟢Узкие отрасли. AgRobotics собирает клубнику, Actor управляет техникой, которая грузит землю в самосвал на стройке. Логика работы у них разная, но в обоих случаях задачу решает железо и знание отрасли, а не универсальный манипулятор.

Если убрать отраслевой контекст, то все эти сценарии становятся похожи друг на друга. Почти везде робот проходит одну цепочку: находит объект и место назначения, подходит, захватывает, переносит, разворачивает и выравнивает, кладет и отпускает так, чтобы ничего не сбить, а затем проверяет результат и повторяет попытку, если не ничего вышло.

🚗 К этой цепочке местами добавляются специальные навыки вроде перемещения по помещению, шлифовки, пересыпания и наливания, складывания ткани, открывания подвижных частей или выполнения нескольких зависимых шагов подряд.

Если говорить про различия, то главное из них заключается в точности. Высыпать землю в кузов или поставить посылку на конвейер несложно, поскольку места достаточно много. Уложить товары в коробку, расставить посуду или разложить товар по полкам уже сложнее, а при сборке и разборке электроники небольшая ошибка в положении, угле или усилии сломает сразу все.

Стоит учитывать, что выборка небольшая: это партнеры всего одной компании, показанные в промо-ролике. Главным открытым вопросом остается перенос навыков. Сможет ли модель, обученная на всех этих задачах, использовать накопленный опыт, чтобы каждого нового робота и каждую задачу было проще настроить.

Подписывайтесь на канал, ставьте лайк, заходите в чат👇

🧑‍🚀 Канал | Чат | Обменник