Визуально-тактильная тренировка: cекрет человеческой ловкости роботизированной руки.

Группа исследователей из Чжэцзянского университета разработала двухэтапный подход, позволяющий многопальцевой роботизированной руке выполнять сложные задачи, используя обычную веб-камеру и недорогие датчики касания.

На первом этапе ИИ проходит предварительное обучение путем просмотра обширной библиотеки видеороликов, где люди выполняют задачи голыми руками или в перчатках. Этот процесс помогает роботу понять, как визуальная и тактильная информация взаимодействуют друг с другом для высокоточного манипулирования предметами.

На втором этапе робот тренируется в виртуальной симуляции, осваивая сразу несколько различных навыков одновременно, а не по одному. Удивительно, но команда использовала только одну стандартную веб-камеру и недорогие тактильные датчики, сигнализирующие лишь о факте прикосновения (есть касание или нет). Такого комплекта оказалось вполне достаточно, чтобы ИИ мог анализировать сценарии и учиться на собственном опыте.

Одним из самых интересных аспектов подхода стало создание в архитектуре ИИ специального блока - так называемого “IPL Token”, который выполняет функции теменной доли головного мозга человека, отвечающей за обработку сенсорной информации, пространственного восприятия и ориентации. IPL Token позволяет создавать кросс-модальные связи, выступая «перекрестком», где встречаются тактильные и визуальные данные. ИИ учится предсказывать, как эти два типа сигналов соотносятся друг с другом в конкретных ситуациях, что позволяет роботу высокоточно отслеживать объект, опираясь на тактильные ощущения и предсказания, даже когда он находится в слепой зоне камеры.

Основные преимущества нового подхода:
•Обычно для тактильного обучения требуются дорогостоящие высокоразрешающие матрицы тактильных датчиков и камеры глубины. В исследовании используется многопальцевая рука Shadow (или Leap) в сочетании со стандартной камерой и недорогими пьезорезистивными тактильными датчиками, общей стоимостью до 250$.
•Устойчивость к “ослеплению”.
•Использование специализированного предсказательного нейронного узла.

Испытания включали восемь разных задач, в том числе поворот крышки бутылки, перемещение рычага и более сложные действия, такие как заточка карандашей и отвинчивание винта. Робот успешно выполнял уже знакомые задачи в 85% случаев и в большинстве случаев справлялся с незнакомыми задачами, игнорируя изменение освещенности и замену тактильных датчиков.

Источник: Science