Mistral AI готовится выкатить два новых открытых модели:

– Mistral-Large-3-675B-Instruct-2512-NVFP4
– Ministral-3-3B-Instruct-2512

По архитектуре всё выглядит так:

У Ministral почти один в один архитектура как у Llama-2/3. По сути, очень похоже на первый релиз Mistral 7B двухлетней давности, просто с доработками вроде SWA.
У большой модели архитектура такая же, как у DeepSeek V3, то есть это MoE.

Обе модели используют Llama-4 RoPE scaling вместо YaRN, а в Large-версии, судя по всему, есть спекулятивное декодирование через Eagle.

Похоже, скоро завезут что-то крупное 👀

vllm (mistral large): https://github.com/vllm-project/vllm/pull/29757
transformers (ministral): https://github.com/huggingface/transformers/pull/42498