Одна из лучших технических книг о том, как большие языковые модели обучают в огромных масштабах:

> память GPU и профилирование
> разбиение вычислений на блоки, объединение ядер и FlashAttention
> параллелизм по данным, тензорам, конвейеру и контексту

Я уже прочитал бесплатную онлайн-версию, но всё равно пришлось купить бумажную копию для своей библиотеки.

Бесплатно прочитать можно по ссылке.

@edpython_tg