​​🗣Dolphin: длинный контекст как новая модальность для энергоэффективных языковых моделей на устройстве

Подход решает проблемы значительного потребления энергии и задержек, присущие моделям на устройстве.

Dolphin использует компактный декодер параметров 0,5B для извлечения обширной контекстной информации во встраивание памяти, существенно сокращая длину входных данных для первичной модели декодера параметров 7B.

Этот инновационный метод позволяет обрабатывать существенно более длинные контексты без типичных вычислительных затрат, связанных с расширенными последовательностями входных данных.

Эмпирические оценки демонстрируют 10-кратное улучшение энергоэффективности и 5-кратное сокращение задержек по сравнению с обычными методами обработки полноразмерного контекста без потери качества ответа.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться