Первый в мире робот-барабанщик 🔥

Гуманоидный робот G1 от Unitree исполняет рок, метал и джаз с точностью попадания в ритм 90%. Международная команда специалистов научила его этому с помощью AI-системы Robot Drummer. В её основе — многослойные перцептроны (нейросеть из трёх слоёв).

Что умеет робот

Он научился почти как человек менять палочки, играть со скрещёнными руками и корректировать силу удара в ответ на изменения темпа и динамики в песнях. Разработчики утверждают, что добились пространственной координации и 90% точности ритма.

Как модель училась барабанить

На основе MIDI-транскрипций песен разработчики составили для робота ритмические цепочки контактных событий (RCC). Они подсказывали ему, когда и по каким барабанам нужно ударить. Удары закодировали в виде векторов. Робот практиковался в виртуальной среде Isaac Gym с использованием обучения с подкреплением.

Создатели Robot Drummer планируют обучить робота импровизации и посадить его за настоящие барабаны.

Читайте статью и слушайте хиты в исполнении робота по этой ссылке.

🔥 — если ждёте, когда барабанщик соберёт робогруппу