NLP-инженеры Яндекса рассказали про метод ускорения генерации токенов.

Retrieval-Based Speculative Decoding (REST), по словам авторов метода, может ускорить генерацию токенов более чем в два раза.

Метод спекулятивного декодирования REST ускоряет генерации за счет использования более компактной и быстрой модели.

При использовании REST результаты тестов показали прирост в скорости генерации токенов до 2,36 раз. Однако отмечается, что результат сильно зависит от полноты и качества базы данных.