Mixture-of-Kittens: our open-source MoE megakernel for NVL72s

📄 Блогпост
💻 Код

Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s.

В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а еще и под обучение.