⚡️ NVIDIA представила Nemotron 3 Super и архитектура у модели очень необычная.

Это модель на 120B параметров, но во время работы активны только 12B. Такой результат достигается за счёт гибридной архитектуры Mamba + Transformer + MoE, которая позволяет получать высокую производительность при гораздо меньших вычислениях.

Что особенно выделяется:

• контекстное окно до 1 миллиона токенов
• 36 баллов в Artificial Analysis Intelligence Index — выше, чем у GPT-OSS-120B
• примерно на 10% больше throughput на GPU
• можно выбирать режим рассуждений: полный, облегчённый или отключённый — контролируя стоимость запроса
• модель обучена с нуля в NVFP4 precision, что впервые используется в этой линейке
• полностью открытые веса, данные и рецепты обучения — 83 балла в Openness Index

Но самое интересное - стратегия NVIDIA.

Компания больше не гонится за самыми большими моделями. Вместо этого ставка делается на максимальную эффективность.

Всего 12B активных параметров на 2× H100 дают уровень reasoning, который сопоставим с моделями, имеющими в 3–8 раз больше активных параметров.

Модель уже доступна на DeepInfra и Lightning AI со скоростью до 484 токенов в секунду.

https://artificialanalysis.ai/models/nvidia-nemotron-3-super-120b-a12b