Квантизация в MXFP, кстати, weight-only.
Спрашивается - зачем...
Квантовать в MXFP имеет смысл только для W+A, чтобы воспользоватьcя быстрыми кернелами на Blackwell. MXFP просаживает качество больше, чем INT при той же битности из-за всратой квантизации скейлов.
Post #524
2.53K

- ❤ 4
- 😁 2