NVIDIA выложила в открытый доступ проект Kimodo - генеративную модель на основе диффузии, которая создает реалистичные трехмерные движения для человеческих и робототехнических скелетов.
Kimodo принимает на вход текстовые промпты и ключевые позы всего тела, позиции и вращения конечностей, двухмерные пути и контрольные точки. Это позволяет точно управлять генерацией: от общего описания наподобие "персонаж идет и садится на стул" до детального контроля положения рук и ног в кадрах.
Всего доступно 5 вариантов модели для 3 типов скелетов: SOMA, SMPL-X и Unitree G1. Первые два ориентированы на анимацию аватаров, третий - на робота Unitree G1.
Модели, обученные на полном датасете Bones Rigplay 1 (700 часов), NVIDIA рекомендует как основные рабочие.
Варианты на сете BONES-SEED (288 часов) предназначены для бенчмаркинга и сравнения с собственными разработками.
Для работы с Kimodo предусмотрены 3 интерфейса:
🟢Интерактивное веб-демо с таймлайн-редактором;
🟢CLI-утилита для пакетной генерации;
🟢Python API для тонкой настройки .
Под инференс потребуется около 17 ГБ видеопамяти, модели запускали на RTX 3090, RTX 4090 и NVIDIA A100.
🟡 Интеграция с робототехническим стеком NVIDIA.
ProtoMotions позволяет брать сгенерированные движения и обучать на них физически корректные политики управления в GPU-ускоренной симуляции — как для аватаров, так и для Unitree G1.
Через General Motion Retargeting движения, созданные на скелете SMPL-X, можно перенести на произвольных роботов.
📌Лицензирование:
Код проекта под Apache 2.0, большинство моделей под NVIDIA Open Model License.
Вариант SMPL-X имеет более ограниченную NVIDIA R&D Model License, она допускает только исследовательское применение.
🟡Набор моделей
🟡Техотчет
🖥Github
@ai_machinelearning_big_data
#AI #ML #Robotics #Kimodo #NVIDIA