Инженеры из Improbable AI Lab Массачусетского технологического института представили DEXOP — устройство для передачи роботу точных человеческих манипуляций.

Традиционный метод обучения роботов — телеоперация. Это процесс, при котором оператор управляет манипулятором, а система запоминает эти движения и воспроизводит их в симуляции. Такой подход имеет серьёзные ограничения: он требует больших массивов данных, часто некорректно передаёт тактильные ощущения и плохо переносится в реальный мир.

Для решения данной проблемы инженеры разработали DEXOP — пассивный экзоскелет для кистей рук, физически связанный с роботизированной рукой. Система реализует новый подход perioperation — сенсоризацию человеческих манипуляций для сбора обширных мультисенсорных данных (зрение, проприоцепция, осязание и действие) с возможностью переноса навыков на робота.

Все движения оператора мгновенно повторяются роботом, создавая максимально естественное отражение человеческих манипуляций. DEXOP-12 — самая технологичная конфигурация системы на данный момент, представляющая собой искусственную кисть с четырьмя пальцами и тремя степенями свободы на каждый.

В кончики пальцев встроены датчики давления, позволяющие точно фиксировать силу, которую человек прикладывает при взаимодействии с объектами. Благодаря этому робот учится не только перемещать предметы, но и корректно оценивать усилие — от лёгкого касания до плотного захвата.

DEXOP в режиме реального времени обрабатывает визуальные данные с камер и отслеживает физические манипуляции человека, что позволяет роботу обучаться на реальных сценариях. Такой подход минимизирует разрыв между цифровым и физическим миром (sim2real), ускоряя процесс обучения и делая его более адаптивным для практического применения.

Источник: DEXOP