Cosmos Framework объединяет полный цикл работы с моделями Cosmos 3: обучение, дообучение, инференс и онлайн-сервинг.
Что внутри:
• распределённое обучение через FSDP, TP, CP и PP
• импорт и экспорт Hugging Face
safetensors • поддержка JSONL, WebDataset и LeRobot
• инференс через Diffusers, Transformers и vLLM
• batch-генерация и сервер на Ray + Gradio
• готовые Agent Skills для Claude Code, Codex CLI и Cursor
Cosmos 3 работает с текстом, изображениями, видео, аудио и последовательностями действий. Фреймворк рассчитан на разработку моделей для робототехники, автономных систем и симуляции физического мира.
Примеры обучения протестированы на 8× H100 80 ГБ, а облегчённую Cosmos3-Nano можно запускать на одной GPU.
🔗 https://github.com/NVIDIA/cosmos-framework