SGLang без магии: как устроены основные настройки инференса LLM #habr
https://habr.com/ru/companies/ecom_tech/articles/1087490/
Tags: sglang, инференс llm, оптимизация инференса, Context Parallelism
Author: gevondyanerik (ecom.tech)
Post #324828
76