Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Xiaomi собрала не одну модель, а целое семейство — от 7B-малыша до открытого MoE на триллион параметров. Разбираю, что в нём устроено интереснее всего.


Читать полностью

#habr
@linux_potok