Это, пожалуй, одна из лучших технических книг о том, как большие языковые модели обучают в огромных масштабах:

> память GPU и профилирование
> разбиение вычислений на блоки, объединение ядер и FlashAttention
> параллелизм по данным, тензорам, конвейеру и контексту

Я уже прочитал бесплатную онлайн-версию, но всё равно пришлось купить бумажную копию для своей библиотеки.

Бесплатно прочитать её можно и на Hugging Face:

https://huggingface.co/spaces/nanotron/ultrascale-playbook

👉 @PythonPortal