Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation
[Статья][Код]
Команда из IST Austria с Черным Саморезом в составе выпустила продолжение истории про Quartet для обучения LLM в низкой точности (а, именно современных MiscoScaling форматов).
Post #639
1.65K

- 🔥 6