Meta випустила відкриту модель Muse Spark Open: для запуску знадобиться $11 000

Meta випустила у відкритий доступ ваги Muse Spark Open, мультимодальної моделі для програмування, агентних завдань і багатокрокових міркувань. Компанія називає її найпотужнішою відкритою моделлю зі США. Ваги вже можна завантажити з Hugging Face.

Muse Spark Open є моделлю типу Mixture-of-Experts на 816 млрд параметрів, з яких одночасно активні 42 млрд. Вікно контексту становить 1 млн токенів. Модель приймає текст, зображення, відео й аудіо, а відповідає текстом.

Основою стала Muse Spark 1.2. До неї Meta додала безпековий пост-тренінг, щоб модель трималася й поза захистом власних сервісів компанії. Як запевняють представники компанії-розробника, нова LLM пройшла вимоги внутрішньої Meta Superintelligence Scaling Framework, а повний звіт про оцінювання з’явиться пізніше. Читати далі на Highload 👉

Facebook | LinkedIn | X | Додати в Google