Тут в X многие в шоке от домашек нового курса Stanford-а, CS149 Parallel Computing. Я как ведущий похожего курса, но в KIT, тоже немного в ахуе:

1️⃣ ISPC Programming on multi-core CPUs (SSE, AVX)
2️⃣ Scheduling a task graph. Как я понимаю речь идёт о lock-free С++-based алгоритмах
3️⃣ A render in CUDA on Nvidia GPU
4️⃣ Flash-attention transformer for a "small LM". Радикальнее сложнее воспроизведения того же tiny-cuda-nn и требует знаний L1, Bank Conflicts, Tensor Cores.
5️⃣ TBD, FPGAs, Multi-core graph processing. Опционально

Понятно, что скорее всего студентам даны шаблоны, но как отметил Ethan Smith, ко-фаундер Leonardo.Ai ~40m. $ raised:

if you are implementing flash attention for a grade and you'd rather be doing it for money, come join our team :)
dms open

(они нанимают на удаленку)

и я 100% с ним согласен

поэтому считаю это прекрасным напоминанием, что знания GPGPU в 2024 имеют неадекватно высокую цену и рекомендую всем этим воспользоваться 😉

UPD: задания с лекциями

#карьера