NVIDIA обучает человекоподобных роботов с помощью Apple Vision Pro

На выставке по компьютерной графике SIGGRAPH NVIDIA показала эталонный процесс тренировки ИИ роботов-гуманоидов с помощью телеопераций. В этом методе обучения нейросети машина копирует движения оператора в режиме реального времени, а оцифровка движений происходит именно за счёт Apple Vision Pro.

Полученные данные разработчики переносят в приложение NVIDIA Isaac Sim, где моделируют движения в виртуальной среде. Затем в микросервисе MimicGen NIM они генерируют синтетические данные о движениях на основе записанных телеопераций с Apple Vision Pro. Полученные синтетические наборы используют для расширения базы данных ИИ робота-гуманоида.

Для обучения ИИ человекоподобного робота требуется колоссальное количество данных и внушительные финансы. Собственно гарнитура Apple необходима NVIDIA, так как решает сразу две больших проблемы: во-первых, шлем позволяет генерировать много данных с помощью телеопераций, а во-вторых, делает это относительно дёшево.