⚡️ QServe: Квантование W4A8KV4 для эффективного обслуживания LLM

Увеличивает максимально достижимую производительность Qwen1.5-72B в 2,4 раза при 100-дюймовой скорости и в 3,5 раза при L40S по сравнению с TensorRT-LLM.

▪ Github

@bigdatai