​​Prometheus - устройство для телеуправления с силовой обратной связью

Команда из лаборатории Дзмитрия Цецерюкоу (Dzmitry Tsetserukou, Сколтех, Москва) разработала приспособление для телеуправления на базе HTC Vive Trackers 2.0. Устройство включает в себя оригинальные пальцы и контроллер, обрабатывающий данные о силе сжатия в реальном времени, благодаря чему оператор может ощущать силу захвата, прикладываемую к объектам. Все исходники железа, ПО, инструкции по изготовлению и инструкции по настройке и запуску опубликованы в github.

В одноимённой статье выделяется два основных метода телеуправления:
1. Копирование кинематики манипулятора (GELLO, AirExo, Aloha, Echo). Обеспечивает максимально быстрое обучения оператора.
2. Применение обратной кинематики для воспроизведения положения end-эффектора (отпадает необходимость в копировании). Наиболее популярные устройства - VR-контроллер, отслеживание движений кистей оператора или устройство с IMU-датчиком. Метод является более универсальным, но и кривая обучения чуть более крутая; есть риски задержек на решение задачи обратной кинематики.

Разработанное устройство реализует второй подход b состоит из рамы, рукоятки и крышки с прикрепленным HTC Vive трекером (в самой статье много картинок, проще посмотреть). Электронный блок представляет собой две платы: плата датчика силы на STM32F303CBT6 и плата управления двигателем (она же основной контроллер приспособления, на STM32F401RET6TR). Принцип действия:
- плата датчика силы измеряет усилие захвата, линеаризует сигнал и передает его на плату управления мотором по протоколу RS-485;
- плата управления мотором вычисляет необходимое усилие для двигателя, обрабатывает данные с энкодера о положении и передает всю релевантную информацию на компьютер через гальванически изолированный USB-интерфейс.

Особо следует отметить специально разработанные сило-чувствительные пальцы для механического захвата Robotiq 2F-85, в которые встроены датчики силы RP-C7.6-LT. Пальцы обеспечивают силовую обратную связь со всей поверхности энд-эффектора и защиту датчика силы от повреждения. Мягкая анти-скользящая силиконовая накладка (Soft-Touch Anti-Slip Silicone Pad), отлитая из двухкомпонентного силикона, предотвращает проскальзывание, обеспечивает более равномерное распределение усилия и, тем самым, позволяет осуществлять мягкий захват объектов.

Сбор данных и инференс были проверены на испытательном стенде с роботом UR3. Техническое зрение обеспечивалось камерами Logitech C920 HD Pro на запястье и установленной сбоку Realsense D455. Обратная кинематика в ходе сбора данных вычислялась через встроенные механизмы UR на базе Real-Time Data Exchange. Для манипулирования были выбраны чувствительные к усилию объекты: куриные яица, помидоры, зубная паста, бутылка шампуня (было записано по сто эпизодов на каждый объект).

Для обучения использовалась предварительно обученная трансформер-модель Octo-Small, которая (как утверждают авторы) "обеспечивает баланс между производительностью и эффективностью инференса, сохраняя при этом компактную архитектуру". Полный процесс дообучения занял 2,5 часа: 50k эпох с размером пакета (batch size) 32 на GPU NVIDIA RTX 4090 с 24 ГБ видеопамяти (также утверждается, что для выхода на плато достаточно 20k эпох).

Экспериментальные результаты:
- Операторы прикладывали в среднем на 35,77% меньше силы, когда обратная связь была включена, что показывает повышенную точность при обращении с хрупкими объектами
- Policy, обученные с использованием входных данных о положении и силе(P+F), достигли уровня успешности до 90% в таких задачах как захват помидора.

Да, в настоящее время система жёстко оптимизирована для руки UR3 и захвата Robotiq 2F-85, что ограничивает её применение к другим РТК без модификаций, но репозиторий в Github определённо повышает шансы на их появление.

#hardware #open #teleop