Нашли бесплатную онлайн-книг, где разбирают:
🫡 Память GPU и профилирование;
🫡 Разбиение вычислений на блоки;
🫡 Fusion ядер;
🫡 FlashAttention;
🫡 Data parallelism;
🫡 Tensor parallelism;
🫡 Pipeline parallelism;
🫡 Context parallelism.
⛓ Ссылка на книгу
tags: #полезное
➡ Data Scientist | Чат