Теперь можно гонять модель на 16B параметров на дефолт железе

LLaDA 2.1-mini использует здоровенную Mixture-of-Experts (MoE) архитектуру, но на каждом шаге активирует только 1.4B параметров.

В итоге получаете вычислительную мощность большой модели со скоростью и объемом VRAM маленькой модели.

→ 16B всего параметров (большая база знаний)
→ 1.4B активных параметров (очень быстрый инференс)
→ 32k контекст (жирный апгрейд для длинных документов)

Высокая производительность. Низкие затраты на вычисления.

100% open source, huggingface