DeepSeek открыла исходный код инфраструктуры для платформы Huawei Ascend в дополнение к решениям для NVIDIA

DeepSeek объявила об открытии исходного кода инфраструктурных компонентов для вычислительной платформы Huawei Ascend. В набор вошли компилятор высокоуровневого языка TileLang, библиотеки вычислений и библиотека распределённой связи. Все опубликованные компоненты полностью соответствуют решениям, которые компания ранее открыла для платформы NVIDIA.

По сравнению с языком CUDA платформа TileLang обеспечивает более простое программирование, заметно повышает эффективность разработки и упрощает логику кода. Относительно других высокоуровневых языков её модель программирования позволяет полнее раскрыть особенности чипа и выйти к верхней границе аппаратной производительности. Подход TileLang был впервые проверен на зрелой платформе NVIDIA и уже используется для реализации большинства операторов при обучении моделей серии DeepSeek V4.

Версия TileLang для Huawei Ascend инкапсулирует низкоуровневые инструкции Ascend C, предоставляя высокоуровневый способ программирования без потери производительности: каждый оператор TileLang, применяемый в обучении DeepSeek, имеет соответствующую высокопроизводительную реализацию на Ascend.

В открытый набор также включены базовые вычислительные и коммуникационные компоненты. DeepGEMM ускоряет универсальные матричные операции, DeepEP обеспечивает эффективную крупномасштабную связь между устройствами, TileKernels предоставляет стандартные векторные вычисления и операторы доступа к памяти, FlashMLA реализует оператор разреженного внимания для повышения эффективности обработки длинного контекста, а DeepSelect отвечает за эффективный отбор данных. В ряде ключевых тестовых сценариев производительность вычислений и связи этих компонентов уже приближается к аппаратному пределу.

#news #AI

https://www.ithome.com/1/008/604.htm