#полезное
🛞 Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

🟠 Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
🟠 Сравнение GPU и TPU: гибкость против специализированной мощности.
🟠 Как устроены GPU-кластеры и коллективные коммуникации.
🟠 Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

https://jax-ml.github.io/scaling-book/gpus/

👉Новости 👉База вопросов