Chelsea Finn [ Physical Intelligence ] / p,2

2025 / Главный bottleneck робототехники- данные
Промышленная автоматизация дает огромное количество данных, но нет разнообразия. YouTube дает огромное количество данных, но не учимся писать, просто наблюдая, как пишут другие.Симуляция - есть масштаб, данные из симуляции нереалистичны и есть разрыв с реальностью. Мы пытались решить задачу по выгрузке белья из сушилки и сложить ее. Задача тяжёлая из-за вариативности одежды, её положения, смятости. Мы начали просто: складывание футболки одного бренда и размера, динамическое расправление одной футболки. Собрали данные через телеманипуляцию, обучили политику методом имитационного обучения. Модель — около 100 млн параметров, вход — изображения с камер, выход — целевые положения суставов, управление на частоте 50 Гц. Компания основана в марте 2024. Через пару месяцев мы получили политику, которая надёжно складывала одну футболку одного размера. Также тестировали динамические движения — важно точно соответствовать частоте управления. Затем усложнили: футболка не лежит ровно, а смята. Это резко усложняет задачу. Первые попытки выглядели частично разумно, но прогресса не было. Часто 0% успеха. В конце июня появились первые признаки прогресса: робот начал расправлять и складывать. Всё ещё медленно. Дальше — бельё в корзине, разные размеры, шорты. Опять 0% успеха. Мы думали: нужна память? Дольше обучать? Управление в пространстве эффектора вместо суставов? Проблемы калибровки? Больше условий? Иерархия? Более высокое разрешение? Интервенции в сборе данных? Мы всё это пробовали. Два-три месяца без результата. Прорыв случился, когда мы вдохновились языковыми моделями: вместо обучения политики на всех данных мы сделали предварительное обучение на всём датасете, а затем дообучили на тщательно отобранных, качественных демонстрациях. Он складывает V-образную футболку, хотя таких не было в дообучающем датасете. Складывает рубашки с пуговицами. Есть обобщение. Это показывает преимущество foundation-моделей, о котором я говорил: для разных задач не нужно начинать с нуля. Можно использовать предобучение на разных роботах и разных задачах. Мы также применили этот рецепт к роботам других компаний. Этого робота я никогда не видел лично. Они собрали данные, отправили их нам, мы дообучили модель на их данных. Мы даже не знали точно, как именно управляется их робот, как представляются его действия. Но после дообучения модель смогла управлять роботом, чтобы в данном случае приготовить кофе. Итоги: мы смогли независимо разработать предобучение и постобучение, разделить проблему, а затем объединить лучшее из обоих. Обучение на всех данных не работает для сложных задач; предобучение плюс постобучение на отобранных данных дает гораздо лучший результат. Аналогичный подход мы используем и при смене среды - Мы собирали данные в домах по всему Сан-Франциско, а также в разнообразных макетах кухонь и спален. В итоге более 100 уникальных комнат вошли в датасет, который стал частью более крупной смеси для предобучения. Мы арендовали три Airbnb, где никогда не были. Поставили робота на кухне. Попросили закрыть шкаф, убрать посуду. Он никогда не видел эти вилки и тарелки. Робот справился, несмотря на новые столешницы, мебель, объекты. Есть сбои. Успех около 80%.