Размер – не главное?

У небольшой AliceAI-Foundation-80B-A3B-Base от Яндекса уже появились первые надстройки-эксперименты от сообщества на Hugging Face. Компания называет новинку  «экспериментальной основой для будущей единой рассуждающей модели», а в претрейне уже вшито рассуждение. 

Решение обучено с нуля, без использования весов других моделей, и доступно под лицензией Apache 2.0.

Модель построена на архитектуре MoE:

• 80 млрд параметров
• около 3 млрд активных параметров при генерации
• претрейн на 17,5 трлн токенов
• контекст до 256K+ токенов

Особое внимание уделили русскому языку, математике, программированию, медицине, российскому праву и фактологическим знаниям.