⭐️ Яндекс выложил в опенсорс свою библиотеку YaFSDP

Это библиотека для обучения больших языковых моделей с открытым исходным кодом, которая позволяет ускорить их обучение до 25%, а также тратить до 20% меньше ресурсов графических процессоров.

Использование библиотеки даёт существенный выигрыш в производительности и потреблении памяти: YaFSDP позволяет использовать ровно столько памяти процессоров, сколько необходимо, а коммуникацию между GPU в сети при этом ничего не тормозит.

https://habr.com/ru/companies/yandex/articles/817509/

@bigdatai