Nvidia выложила Nemotron 3 Ultra в открытых весах.

Архитектура та же, что в варианте Super: гибрид Mamba-2 с attention плюс LatentMoE. Только теперь всё крупнее и соотношение «качество к стоимости инференса» выглядит сильно.

Гибрид с Mamba бьёт в больное место трансформеров: линейная сложность по длине вместо квадратичной, дешевле на длинном контексте.

LatentMoE добавляет ёмкости без пропорционального роста вычислений.

Веса открыты - можно гонять локально и щупать самим.

🤗BF16 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
🤗NVFP4 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
📜Technical Report: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf