TP/ DP/ PP – как масштабировать обучение LLM?

Рассказывает Андрей Жогов (ML-инженер в Сбере, преподаватель Физтеха) на YouTube. Если вы пытались обучать большие LLM и упирались в ошибку CUDA Out of Memory – вы не одиноки.

В видео Андрей разобрал, как на практике обучают модели, которые физически не помещаются ни в одну видеокарту, и какие подходы используют в индустрии, чтобы масштабировать обучение без хаоса и слива бюджета.

Пока видео можно посмотреть только на YouTube: https://youtu.be/QPOd_c7DHpw?si=9NgnzDpsUzbTPoXL, в ВК и Дзен есть некоторые проблемы с обработкой видео.