❤️ Яндекс открыл доступ к библиотеке YaFSDP для ускорения обучения языковых моделей

Компания Яндекс открыла для всех желающих доступ к своей библиотеке YaFSDP, которая ускоряет обучение больших языковых моделей до 25%, экономя при этом до 20% мощности графических процессоров. Библиотека оптимизирует использование вычислительных мощностей и снижает затраты на память, что особенно актуально для стартапов и научных проектов.

Тесты показали значительное сокращение времени обучения на различных моделях, включая LLaMA 2, где использование библиотеки сократило этап предварительного обучения с 66 до 53 дней.

Исходный код библиотеки YaFSDP уже доступен на GitHub, и Яндекс принимает пул-реквесты от пользователей. Разработчики отмечают, что масштаб ускорения обучения зависит от архитектуры и параметров конкретной модели.

🇷🇺 Национальный центр развития искусственного интеллекта при Правительстве РФ

#новостьдня