Это ж пипец как круто. Только представь какое токсичное болото можно натренировать на данных из двача, линуксорга и ру-язычного стэковерфлоу.
Вообще, насколько мне известно, проблема в обучении моделек, как раз таки лежит в правильной нагрузке ГПУ. Обычно используются не все вычислительные возможности устройства, из-за чего весь процесс обучения может затянуться.
Эта темка позволяет значительно ускорить сам процесс обучения и тратить меньше памяти ГПУ. Она оптимизирует коммуникации между ГПУ, плюс упрощает и ускоряет сам процесс разбивки данных для параллельных вычислений.
В общем, надо детальнее раскурить, а пока авансом влепливаем звездочку на репозиторий 🥂
Репозиторий проекта: https://github.com/yandex/YaFSDP