🤖 GaussGym: обучайте роботов ходить прямо из пикселей — быстро, фотореалистично и открыто

Представлен GaussGym - open-source фреймворк для симуляции роботов, который впервые объединяет высокую скорость и фотореалистичное зрение.

С помощью 3D Gaussian Splatting, встроенного как drop-in рендерер в векторизованные симуляторы (например, IsaacGym), GaussGym позволяет обучать визуомоторные политики на основе RGB-изображений со скоростью свыше 100 000 шагов в секунду — даже на одной RTX 4090.

🔹 Создавайте тренировочные миры из видео с iPhone, датасетов (GrandTour, ARKit) или генеративных видео (например, через Veo)
🔹 Автоматически стройте физически корректные сцены с помощью VGGT и NKSR — без ручного 3D-моделирования
🔹 Тренируйте политики навигации и локомоции прямо из пикселей, а затем переносите их в реальный мир без донастройки (zero-shot sim2real) — авторы уже продемонстрировали восхождение робота по 17-см ступенькам
🔹 Поддержка глубины, motion blur, рандомизации камеры и других реалистичных эффектов для лучшего переноса

Всё это — полностью открыто: код, данные, модели и даже готовые датасеты на Hugging Face.

GaussGym стирает компромисс между скоростью и реализмом в робототехнике — и делает обучение роботов изображениям действительно масштабируемым.

🔗 Демо: https://escontrela.me/gauss_gym/
📄 Paper: https://arxiv.org/abs/2510.15352
💾 Data: https://huggingface.co/collections/escontra/gauss-gym-datasets
💻 Code: https://github.com/escontra/gauss_gym