​​⚡️ Layer-Condensed KV Cache

Layer-Condensed KV Cache — новый вариант декодеров-трансформеров, в котором запросы всех уровней сочетаются с ключами и значениями только верхнего уровня.

Обеспечивает в 26 раз более высокую пропускную способность по сравнению со стандартными трансформерами и помогает увеличить производительность больших языковых моделей.

▪repo: https://github.com/whyNLP/LCKV
▪abs: https://arxiv.org/abs/2405.10637

@Devsp — Подписаться