Voici Le Chonk, un modèle à 1 000 milliards de paramètres

Mistral представила новую флагманскую модель Large 4. Но официально внутри компании ее называют Le Chonk. Это отсылка к мему Le Chaton Fat, фейковой гигантской модели Mistral, которую несколько месяцев назад придумали в соцсетях.

Large 4 это крупненькая MoE на 1.05T параметров, 49B активных. Модель мультимодальная, поддерживает контекст до 1 млн токенов и уже доступна через API в режиме public preview.

По собственным тестам Mistral, это новая открытая SOTA по США и Европе. Отдельно выделяют кодинг, кибербезопасность и финансы, а в задачах на детекцию объектов на изображениях модель обходит даже некоторые закрытые фронтиры.

Обучали с нуля около двух месяцев на 4 000 Nvidia Grace Blackwell. Для модели такого размера это, кстати, довольно компактный кластер.

Веса обещают выпустить 27 октября.

https://mistral.ai/news/mistral-large-4/