​​🗣InkubaLM: A small language model for low-resource African languages

​​InkubaLM, небольшая языковая модель с 0,4 миллиарда параметров, которая достигает производительности, сопоставимой с моделями со значительно большим количеством параметров и более обширными данными обучения для таких задач, как машинный перевод, вопросы и ответы, AfriMMLU и задача AfriXnli.

В частности, InkubaLM превосходит многие более крупные модели в анализе настроений и демонстрирует замечательную согласованность на нескольких языках.

Эта работа представляет собой решающий шаг в оспаривании общепринятой парадигмы, согласно которой эффективные языковые модели должны полагаться на значительные ресурсы.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться