ChatGPT теперь может управлять роботизированной рукой

Исследователи из Калифорнийского университета в Беркли и Швейцарской высшей технической школы Цюриха нашли способ использовать языковую модель OpenAI GPT-4 для обучения дешевых роботизированных рук уборке разлитой жидкости. Этот эксперимент показывает, как ИИ-модели, вроде ChatGPT, могут использоваться для выполнения задач, не связанных напрямую с языком.

Исследователи потратили всего четыре дня, чтобы научить роботизированные руки распознавать пролитую жидкость и чистить поверхность, используя обычную губку. В видео, опубликованном исследователем Янником Гротхусеном, робот сначала распознает губку и пролитую жидкость на столе. Когда его просят убрать стол, робот объясняет, что планирует использовать руку, чтобы поднять губку и протереть поверхность. Затем робот приступает к уборке, выполняя действия в точности так, как описал.

Движения рук были обучены на основе примерно 100 демонстраций. Сами роботизированные руки являются полностью открытыми для сборки, а пошаговая инструкция доступна в формате видео на YouTube. Для перевода команд языковой модели в движения использовалась мультимодальная система LangChain, которая поддерживает взаимодействие человека с роботом и координирует действия с помощью обучения с подкреплением.

Гротхусен считает этот эксперимент доказательством концепции новой архитектуры для управления роботами, которая сочетает визуальную модель языка для взаимодействия и планирования действий. По его мнению, открытые исходные коды и доступная цена демонстрируют, как роботы становятся более доступными для массового использования. Тем не менее, вопрос о том, сможет ли этот подход привести к созданию полноценного робота для домашней уборки, пока остается открытым.