DeepSeek серьёзно обновила библиотеку коммуникаций для MoE:
🫡 ElasticBuffer разделили на отдельные буферы;
🫡 Добавили BufferAllocator для предварительного планирования VRAM;
🫡 Появились batch all-gather, reduce-scatter и all-reduce;
🫡 Добавили prefetch весов резервных экспертов через NVLink;
🫡 Engram теперь умеет работать в несколько уровней на GPU и CPU;
🫡 Доработали сценарии обучения;
🫡 Полностью удалили V1 API и NVSHMEM.
⛓ Ссылка на GitHub
tags: #полезное
➡ Data Scientist | Чат