Новинка семейства Nemotron с открытыми весами понимает текст, изображения и видео длиной до двух минут. Под капотом MoE на 120 млрд общих и 12 млрд активных параметров.
NVIDIA рассчитывает её на агентов, которые работают постоянно, следуют инструкциям, вызывают инструменты и проходят многошаговые рабочие процессы.
В зрительных задачах упор сделан на документы, т.е. распознавание текста, таблицы, графики, веб-страницы и PDF.
Рассуждения включаются и выключаются через шаблон чата, есть промежуточный режим средней глубины.
🟡 Архитектура
Языковая часть построена на гибриде слоёв Mamba-2 и трансформера со смесью экспертов, по 512 экспертов в каждом таком слое.
Картинки кодирует энкодер C-RADIO, а дополнительное ускорение генерации реализовано за счёт спекулятивного декодирования.
Одновременно опубликована сжатая версия Super VL - Nemotron 3.5 Bolt 74B-A9B.
В ней урезали число и ширину экспертов в каждом слое, поэтому параметров стало 74 млрд, а активных – 9 млрд, после чего модель доучили, чтобы вернуть качество.
Веса экспертов квантованы до 2 бит, остальные слои хранятся точнее, и в итоге Bolt умещается в 24 ГБ VRAM.
🟡Тесты
С ближайшим по размеру конкурентом Qwen3.5-122B-A10B модель идёт почти вровень.
На GPQA-Diamond она набрала 89,5 против 86,7, на SWE-bench Verified – 71,1 против 71,9.
На OSWorld-Verified, где агент работает с интерфейсом компьютера, – 51,1 против 51,5, на OCRBench v2 – 68,1 против 68,3.
Более новые Qwen3.8-Flash-Next и GLM-5.3-Flash в той же таблице обходят Nemotron на большинстве тестов, например на Terminal-Bench 2.1 у них 85,8 и 82,7 против 66,7.
Модель также доступна в OpenRouter от 15 центов за миллион входных токенов и 50 центов за миллион выходных, ModelScope и микросервисах NVIDIA NIM.
Для полной версии NVIDIA рекомендует четыре H100 или две GB200.
📌Лицензирование: OpenMDW-1.1
🟡Блогпост
🟡Веса
🟡Техотчет
@ai_machinelearning_big_data
#AI #ML #MMLM #Nemotron #NVIDIA