🇫🇷🤖 Франция: Mistral представила Mistral Large 4 – модель на 1 трлн параметров
Французская компания Mistral AI представила Mistral Large 4 (ML4), получившую внутри компании название Le Chonk. Это крупнейшая модель Mistral: она содержит около 1 трлн параметров, однако благодаря разреженной архитектуре при обработке одного токена задействуется только около 49 млрд.
🔻 ML4 изначально создавалась как мультимодальная модель: она принимает текст и изображения, а результат формирует в текстовом виде. Среди основных направлений применения разработчики выделяют программирование, кибербезопасность, финансовый анализ, промышленность, обработку спутниковых и аэрофотоснимков, технических чертежей и даже задачи проектирования микросхем.
Для обучения модели Mistral использовала около 4000 ускорителей Nvidia Grace Blackwell в собственных европейских центрах обработки данных. Полный цикл предварительного обучения занял примерно два месяца. Модель обучалась более чем на 160 языках, включая все официальные языки Евросоюза.
📌 Предварительные результаты:
– DeepSWE v1.1 – 62% в задачах длительной программной разработки;
– Finch – 67% в финансовых и бухгалтерских рабочих процессах;
– Dense200 – 42% и DIOR-RSVG – 73% в visual grounding – поиске объектов и областей изображения по текстовому описанию.
При этом результаты пока в основном предоставлены самой Mistral и требуют независимой проверки после публикации весов.
🔷 Главная особенность Large 4 – попытка Mistral вернуть Европу в верхний эшелон открытых базовых моделей. Компания сочетает триллионную ёмкость сети с относительно небольшим числом активных параметров и делает особый упор на развёртывание моделей на европейской и суверенной инфраструктуре.
Сейчас ML4 проходит этап публичного тестирования. Полную публикацию весов Mistral планирует на 27 октября, после чего модель можно будет полноценно сравнить с Qwen, DeepSeek, GLM, Kimi и американской Beam.