​​📱 MobileLLM: оптимизированные субмиллиардные LLM для мобильных устройств

MobileLLM демонстрирует значительное улучшение производительности по сравнению с предыдущими моделями аналогичного размера.

Например, версии на 125M и 350M параметров показывают на 2.7% и 4.3% соответственно лучшую точность.

Архитектура разработана с учетом ограничений мобильных устройств по памяти и вычислительной мощности. Применяются методы функции активации (SwinGLU), embedding sharing и группировки внимания.

Методика, представленная в MobileLLM, может быть применен к моделям различных размеров, от 125M до 1.5B параметров.

MobileLLM показывает хорошие результаты в задачах чата и вызова API, приближаясь к производительности гораздо более крупных моделей в некоторых сценариях.

🖥Github
🟡Arxiv

@Devsp — Подписаться