NVIDIA релизнули Cosmos 3 Edge — их открытую фронтир-модель мира, созданную для локального запуска на устройствах.

Cosmos 3 Edge помогает роботам обучаться и действовать, автономным автомобилям понимать дорожные сцены и предсказывать намерения участников движения, а ИИ-агентам компьютерного зрения — рассуждать на основе видеопотока в реальном времени для задач умной инфраструктуры.

Модель насчитывает 4 млрд параметров и включает reasoner на 2 млрд параметров на базе Nemotron. Её можно запускать на DGX Spark, NVIDIA Jetson и других устройствах.

Cosmos 3 Edge объединяет авторегрессионный и диффузионный transformer-блоки через общий механизм мультимодального внимания, связывая понимание, прогнозирование, симуляцию и действия в рамках одной модели.

Среди открытых моделей сопоставимого размера Cosmos 3 Edge занимает первое место в VANTAGE-Bench по анализу визуальных данных.

Как и всегда, Cosmos 3 Edge полностью открыта. Доступны веса модели, рецепты постобучения и код.

Модель уже доступна на 🤗