🏸FastMoE - распределенная обучающая система Mixture-of-Expert (MoE)
Система на PyTorch с общими ускорителями предоставляет иерархический интерфейс для гибкого проектирования ML-моделей и простой адаптации к таким приложениям как Transformer-XL и Megatron-LM. В отличие от прямой реализации закрытых PyTorch-моделей MoE от Google, скорость обучения в FastMoE сильно оптимизирована благодаря сложным высокопроизводительным навыкам ускорения. Система поддерживает размещение разных экспертов на нескольких графических процессорах на нескольких узлах, позволяя линейно увеличивать количество экспертов по отношению к количеству графических процессоров.
https://github.com/laekov/fastmoe
https://arxiv.org/abs/2103.13262