Интересный блогпост на лицехватс 🤗 про оптимизацию FP4 кернела под MoE.
Он содержит в себе детальный анализ работы кернелов и отпимизаций в разных фреймворках (vLLM, SGLang, FlashInfer).
Post #615
1.58K
- 😁 3
КП КПД @quant_prune_distill · 3.49K subscribers