Xiaomi представила MiMo-V2.6 с открытыми весами 👀

В семейство вошли две MoE-модели:

- Flash: 309B параметров, 15B активных, 177,8 ГБ в FP8
- Pro: 1,02T параметров, 42B активных, 573,5 ГБ в FP8

Обе поддерживают контекст до 1 млн токенов и работают с текстом, изображениями, видео и аудио.

После квантизации в NVFP4 требования к памяти можно сократить примерно вдвое. По предварительным оценкам, Flash поместится на 1-2 DGX Spark, Pro потребует около четырёх.

В указанном репозитории опубликована отдельная дистиллированная версия на базе Qwen 9B, а не веса Flash или Pro.

https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B