​​🦾 EAGLE — метод, позволяющий ускорить генерацию ответов от LLM

EAGLE позволяет экстраполировать вектора контекстных признаков второго верхнего слоя LLM, что значительно повышает эффективность генерации.

EAGLE в 2 раза быстрее Lookahead (13B), и в 1.6 раз быстрее, чем Medusa (13B).

🤗 Hugging Face
🖥GitHub

@Devsp — Подписаться