Интернет встрепенулся (второй раз за день). GPT-4V забыт как детский сон. Open X (коллаборация 21 топовых университетов) дропнули пейпер и гигамодель для генерализации "воплощения" (embodiement) роботов.

Подобно тому как обучение на триллионах токенов создало универсальный NLP алгоритм (LLM), а обучение на терабайтах картинок создало универсальный графическую модель, теперь тот же принцип был успешно применён к робототехнике в новой модели RT-X.

Раньше ИИ модели создавали кастомно под задачи робота (управлять машиной, складывать детали, готовить еду, копать ямы). Здесь представлена модель, которая универсально управляет роботическими руками и умеет выполнять 1,5 миллиона отдельных задач без ручного обучения каждой из них. Роботы, не видевшие раньше задания, такие как "сложи", "возьми", "отсортируй", "налей", "переверни", "открой дверь", "подмети за собой" с первой попытки успешно их выполняют.

Если GPT — это генерализация логических и когнтивных задач (операций с битами), то эта штука — генерализация задач взаимодействия с физическим миром (операций с атомами). В робо-руках, управляемых RT-X, проявились эмерджентные свойства и умение выполнять задачи, которыми их не тренировали. Подобно тому как GPT может ответить на вопрос, который он никогда не видел. Технически это называется "cross-embodiment learning". Модель, кстати, с открытым кодом. Но, как мы знаем, все что Open рано или поздно становится не очень.

Так что, let's fuuucking go, hail to your robot overlords.