⌨ Китайские исследователи разработали фреймворк, позволяющий роботам обучаться с помощью видео

Видео — отличный источник данных для обучения. Их много, не нужно моделировать движения в симуляторе или прибегать к использованию костюмов для захвата движений.

Обучение роботов с помощью видео — не новинка, но текущие методы позволяли обучать гуманоидов управлять либо только верхней частью тела, либо просто ходить. Китайцы же пошли дальше, и теперь с помощью их фреймворка можно полноценно имитировать движения человека и взаимодействовать с предметами. Он получил название HDMI — HumanoiD iMitation for Interaction.

Как это работает:
1) Из записанных видео извлекают движения человека
2) Робот обучается в симуляторе
3) Код переносится на физического робота. И сразу работает 🔥

Гуманоид смог 67 раз толкнуть дверь и пройти проем, переносить коробки, а также подняться по лестнице. Почитать статью и более подробно погрузиться в проект можно тут

@robotswe