⚡️ OLMoE: Открытые языковые модели смеси экспертов

«OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему.

Она предварительно обучена ее на 5 триллионах лексем.

OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.»

• Статья: https://arxiv.org/abs/2409.02060
• Модель: https://hf.co/allenai/OLMoE-1B-7B-0924

@machinelearning_ru