​​😇ThinK: более тонкий кэш ключей с помощью отсечения на основе запросов

Новый метод обрезки кэша KV, зависящий от запроса, разработанный для минимизации потери веса внимания при выборочной обрезке наименее значимых каналов.

Подход не только сохраняет или повышает точность модели, но и обеспечивает снижение затрат памяти более чем на 20% по сравнению с ванильными методами вытеснения кэша KV.

Расширенные оценки моделей LLaMA3 и Mistral в различных наборах данных с длинными последовательностями подтверждают эффективность ThinK, устанавливая новый прецедент для эффективного развертывания LLM без ущерба для производительности.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться