Modal Labs составили подробный глоссарий, чтобы решить проблему, с которой сами столкнулись при работе с графическими процессорами в сервисе Modal : документация фрагментирована и зачастую очень сложно сопоставить концепции на разных уровнях стека.
Modal Labs (бренд Modal) – компания, основанная в 2021 году, которая предоставляет высокопроизводительную серверную вычислительную платформу для разработчиков, работающих с данными, ИИ и машинным обучением.
Они прочитали PDF-документацию от NVIDIA, порылись в тематических Discord-сообществах и даже купили бумажные учебники, чтобы составить базу знаний, охватывающую весь стек в одном месте:
🟢Ядра CUDA, SM, тензорные ядра, warp-планировщики;
🟢Потоки, PTX, иерархию памяти;
🟢Roofline, дивергенцию;
🟢Nvcc, nvidia-smi, cuBLAS, Nsight, libcuda.
В руководстве все страницы связаны между собой, поэтому вы можете перейти к разделу о Warp Scheduler , чтобы лучше понять потоки, о которых вы читали в статье о модели программирования CUDA.
Сам проект открыт и доступен на Github.
🟡Страница
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #GPU #Glossary #Modal