Теория, подготовка к интервью и курсы для ML специалистов
YeaHub — это платформа для IT-специалистов, объединяющая обучение, карьерный рост, развитие и сообщество единомышленников.
Платформа: https://yeahub.ru
Для связи: @ruslan_kuyanets
Post #6
76
#статьи
😬 Ускорение инференса больших языковых моделей: опыт команды YandexGPT
Разработчик рассказал на Хабре универсальные методы оптимизации инференса LLM, применимые к большинству современных архитектур, включая LLaMA-подобные и MoE.
Дистилляция знаний — метод создания небольших эффективных моделей. Hard-label представлен как наиболее простой подход к передаче знаний от учителя к ученику. Soft-label даёт ученику доступ к внутренним распределениям вероятностей модели‑учителя. On-policy эффективно отражает неопределённость модели учителя, когда та присваивает сходные вероятности нескольким правдоподобным токенам.
Квантизация трансформеров эволюционировала от простой квантизации весов к борьбе с выбросами в активациях через LLM.int8(), SmoothQuant и GPT-Q.
EAGLE — метод спекулятивного декодирования — способен принести ускорение на compute bound сценариях. При KV-cache подсчитанный кеш для конкретного префикса сохраняется в VRAM/RAM и может быть переиспользован в другом запросе. Он применяется при ускорении сценариев с длинными контекстами.
Все описанные методы комбинируются между собой, давая мультипликативный эффект в ускорении модели.
Читать статью
👉Новости 👉Платформа
😬 Ускорение инференса больших языковых моделей: опыт команды YandexGPT
Разработчик рассказал на Хабре универсальные методы оптимизации инференса LLM, применимые к большинству современных архитектур, включая LLaMA-подобные и MoE.
Дистилляция знаний — метод создания небольших эффективных моделей. Hard-label представлен как наиболее простой подход к передаче знаний от учителя к ученику. Soft-label даёт ученику доступ к внутренним распределениям вероятностей модели‑учителя. On-policy эффективно отражает неопределённость модели учителя, когда та присваивает сходные вероятности нескольким правдоподобным токенам.
Квантизация трансформеров эволюционировала от простой квантизации весов к борьбе с выбросами в активациях через LLM.int8(), SmoothQuant и GPT-Q.
EAGLE — метод спекулятивного декодирования — способен принести ускорение на compute bound сценариях. При KV-cache подсчитанный кеш для конкретного префикса сохраняется в VRAM/RAM и может быть переиспользован в другом запросе. Он применяется при ускорении сценариев с длинными контекстами.
Все описанные методы комбинируются между собой, давая мультипликативный эффект в ускорении модели.
Читать статью
👉Новости 👉Платформа
- ❤ 1
