⚡️ Яндекс поделился собственной библиотекой YaFSDP для обучения больших языковых моделей

Компания разработала YaFSDP при обучении генеративной модели YandexGPT 3 и уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Так, YaFSDP помогает в среднем до 25% ускорить обучение больших языковых моделей и тратить до 20% меньше ресурсов графических процессоров, требующихся для обучения.

Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько необходимо для обучения, притом коммуникацию между GPU ничто не тормозит.

📌 GitHub
📌 Статья на Habr

@machinelearning_ru