Sony AI Ace: робот впервые смог составить полноценную конкуренция профессиональным игрокам в настольный теннис.

С момента проведения первых в истории соревнований по роботизированному пинг-понгу прошло 43 года, за которые настольный теннис стал настоящим фундаментом для тестирования высокоскоростных автономных систем. С тех пор создавалось множество решений и проектов, однако главными их проблемами по-прежнему оставались необходимость в миллисекундной точности и непредсказуемость действий человека по ходу розыгрыша.

Sony AI представила проект Ace, который смог обыграть элитного игрока (более 10 лет опыта) в настольный теннис. Система объединяет в себе событийное зондирование (event-based sensing), глубокое обучение с подкреплением и мобильную роботизированную платформу.

Ace, используя новые алгоритмы управления, основанные на обучении с подкреплением, способна адаптироваться к непредсказуемой физической динамике теннисного шара, отлично реагируя на высокоскоростные удары с сильным вращением.

Отслеживает мяч система с помощью гибридной системы машинного зрения, объединяющей 12 датчиков. 3 из них являются датчиками компьютерного зрения IMX636 (EVS) — это событийные датчики зрения (Event-based Vision Sensors), разработанные Sony в сотрудничестве с Prophesee. Они фиксируют движение с точностью до долей миллисекунды по изменению пиксельной яркости. Это позволяет Ace отслеживать мяч диаметром 40 мм и измерять его вращение со скоростью более 9000 оборотов в минуту. Для измерения угловой скорости мяча Ace использует три системы управления взглядом (Gaze Control Systems, GCS), которые отслеживают логотип на мяче. Средняя ошибка измерения угловой скорости шара оценивается в 24,8 рад/с.

В дополнение к ним система использует 9 активных пиксельных датчиков Sony Pregius IMX273 (APS), работающих с частотой 200 Гц и необходимых для 3D-триангуляции. Каждый датчик оснащён аппаратным ускорителем на базе FPGA для 2D-детекции мяча. Этот интегрированный набор датчиков обеспечивает задержку восприятия всего около 10,2 мс, что позволяет высокоточно (с погрешностью около 3 мм) оценивать положение шара в пространстве и предсказывать сложные траектории его движения в динамичной игре.

Система управления Ace была обучена на синтетических данных, полученных на основе записи реальных игр людей, что позволяет ей адаптироваться к различным вариациям розыгрыша и наносить непредсказуемые ответные удары. Авторы отмечают, что система определяет не только куда, но и с какой ориентацией ракетки бить по мячу, что особенно важно для придания ему вращения.

Чтобы соответствовать нормам манёвренности профессиональных игроков в настольный теннис, робот был оснащён двумя призматическими и шестью вращательными шарнирами, оптимизированными для быстрого бокового перемещения и высокоточного удара. Низкоуровневый контроль основан на обратной связи по положению и обеспечивает задержку отслеживания менее 5 мс даже при максимальной скорости. Система позволяет Ace отбивать мячи, летящие со скоростью до 19,6 м/с.

В ходе официальных тестов Ace провёл серию матчей по правилам ITTF. Против пяти игроков элитного уровня робот одержал три победы. Также состоялись матчи против двух профессиональных игроков японской лиги T.League. Хотя оба матча Ace проиграл, он смог выиграть одну игру у одного из них. В матчах Ace использовал 15 различных типов подач, заработав 16 очков.

Источник: Nature

Наш канал в Мах