alice ai-t5-35b-a0.6b
sparsity 1:70, MoE t5, ul2 рецепт и метрики на уровне 4-8b qwen3.5(на русском) и это релизит яндекс

Обьясню: в реальном проде очень важно сколько параметров вы используете на forward - тут собственно используется 600м параметров
hf