🚀 Meta выложила Muse Spark Open: 816B параметров, 42B активных на токен

Meta открыла веса новой мультимодальной MoE-модели Muse Spark Open — самой крупной в семействе после Muse Glimmer. По данным Hugging Face, модель на 816 млрд параметров использует 256 экспертов на слой, из которых 8 активируются для каждого токена, что даёт около 42 млрд активных параметров. Она принимает текст, изображения, аудио и видео, а заточена под агентный кодинг: чтение кодовой базы, отладку, вызов инструментов.

Архитектурно это 62 слоя, скрытая размерность 8192, 128 query-голов и 16 key-value голов, нормировка QK и обученные residual-гейты вместо обычного сложения. Контекстное окно — 1 млн токенов, включая мультимодальные. Перцепшн-энкодер на 1,8 млрд параметров превращает изображения и видео в токены, а аудио-энкодер выдаёт 12,5 токена в секунду. Для кодинга есть tool calling и регулируемое усилие рассуждения (low/medium/high/xhigh), причём отключить reasoning нельзя.

Главная цена — развёртывание. BF16-чекпоинт весит 1,5 ТБ и требует 4 узла по 8 H200 (TP=32). Квантизация NVFP4 для NVIDIA Blackwell сжимает модель до 4 бит с «незначительной потерей точности» и помещается на одном узле B200. В llama.cpp уже есть GGUF-квант Q2_K для запуска на меньшем железе, но это уже не передовой уровень качества.

Открытые веса передового уровня снова приходят с инфраструктурным ценником: 816B параметров — это не для локального запуска, а для тех, у кого есть доступ к кластеру B200. Самая практичная часть релиза — не сама модель, а NVFP4-квантизация, которая впервые делает MoE такого размера реалистичной для одного узла. Для команд без доступа к B200 или H200 квантованные версии — скорее эксперимент, чем продакшн.

#MuseSparkOpen #MetaAI #MoE #openweights #multimodal