🚀 Ускорение Mixture-of-Experts с SonicMoE

SonicMoE — это высокопроизводимая реализация Mixture-of-Experts, оптимизированная для GPU NVIDIA Hopper. Использует CuTeDSL и Triton для достижения выдающихся результатов благодаря IO-оптимизациям.

🚀 Основные моменты:
- Поддержка архитектуры NVIDIA Hopper.
- Высокая производительность благодаря эффективным алгоритмам.
- Простота интеграции с PyTorch.
- Открытый код и возможность внесения вкладов.

📌 GitHub: https://github.com/Dao-AILab/sonic-moe

#python