#статьи
😬 Ускорение инференса больших языковых моделей: опыт команды YandexGPT

Разработчик рассказал на Хабре универсальные методы оптимизации инференса LLM, применимые к большинству современных архитектур, включая LLaMA-подобные и MoE.

Дистилляция знаний — метод создания небольших эффективных моделей. Hard-label представлен как наиболее простой подход к передаче знаний от учителя к ученику. Soft-label даёт ученику доступ к внутренним распределениям вероятностей модели‑учителя. On-policy эффективно отражает неопределённость модели учителя, когда та присваивает сходные вероятности нескольким правдоподобным токенам.

Квантизация трансформеров эволюционировала от простой квантизации весов к борьбе с выбросами в активациях через LLM.int8(), SmoothQuant и GPT-Q.

EAGLE — метод спекулятивного декодирования — способен принести ускорение на compute bound сценариях. При KV-cache подсчитанный кеш для конкретного префикса сохраняется в VRAM/RAM и может быть переиспользован в другом запросе. Он применяется при ускорении сценариев с длинными контекстами.

Все описанные методы комбинируются между собой, давая мультипликативный эффект в ускорении модели.
Читать статью

👉Новости 👉Платформа