Наткнулся на интересный блог от некоего Simon Veitner.

Дизайн суровый, минималистичный, максимально дешево и сердито, но есть немало интересных статей про написание и ускорение кернелов, компоненты современных GPU, а также реализации различных алгоритмов в CuTe / CuTeDSL .

В частности:
• Making RMSNorm really fast
• Making matrix transpose really fast on Hopper GPUs
• CuTeDSL on Hopper - WGMMA and TMA intro

Будет полезно интересующимся написанием кернелов и эффективными программными реализациями алгоритмов на видеокартах, в особенности, на архитектурах Hopper и Blackwell.