📌 Повышение скорости инференса больших языковых моделей

Разработчик из команды YandexGPT по полочкам раскладывает, в каких случаях подойдёт дистилляция и с помощью каких трюков можно заменить алгоритм PPO, как бороться с выбросами с помощью LLM.Int8, SmoothQuant и GPT-Q, и разбирает особые методы ускорения вроде Speculative Decoding и Continuous Batching.

🔗 https://habr.com/ru/companies/yandex/articles/801119/

@machinelearning_interview