😐 Ранее писали как открытые модели почти догнали фронтир - тогда это была китайская GLM. Теперь Meta выложила свою опенсорс модель и сразу оптимизировала под Apple, чтобы запускать локально.
Meta выложила Muse Spark Open - 816B параметров, 42B активных, MoE, мультимодалка с контекстом 1M токенов. Заточена под код и агентов. Называют самой мощной открытой моделью США.
Детали:
Модель бесплатно на HuggingFace, лицензия разрешает ограниченную коммерцию. Хочешь - качай и запускай локально, хочешь - бери хостинг у Together, Fireworks или Groq.
Фишка с Apple:
Meta допилила модель под MLX, и 816B влезают на два Mac Studio с M5 Ultra по 512 гигов. MLX раскидывает нагрузку между маками по Thunderbolt 5.
Цифры по железу:
🟢Первый токен в 4.6 раза быстрее чем на M3 Ultra
🟢Генерация в 1.6 раза быстрее M4 Ultra
🟢Квант в 4 бита - ~493 гига памяти
По сути фронтир-класс модель теперь работает дома без облака и дата-центра. Минус один - два мака по 512 гигов встанут в $20к+.
🗒 Apple по-тихому стала платформой для локальных агентов - свой фронтир дома, без подписок. Как поднять и перенести агентов на локальную модель разбираем в ИИ-клубе.
Slavik | Updates | Инстаграм | ИИ Клуб