Делимся опытом и экспертизой, рассказываем, что под капотом платформы Yandex Cloud, какие подходы и технологии применяем при её создании.
Сайт: https://yandex.cloud/ru/careers
Вакансии: https://yandex.ru/jobs/services/cloud
Post #388
2.87K
🧠 YandexGPT 4: как обучали новое поколение LLM
Семейство моделей YandexGPT 4 включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы.
Как обучали новое поколение?
📌 Повысили эффективность обучения
Тренировки YandexGPT 4 проходили с использованием опенсорс‑библиотеки Яндекса YaFSDP. Инструмент позволяет чаще проводить эксперименты с обучением, ускорять и улучшать все этапы машинного обучения.
▫️ За счёт комплекса инструментов получилось ускорить этап alignment;
▫️ На этапе pretraining добавили в датасет новые качественные данные;
▫️ В основном обучающем датасете увеличили долю длинных документов, добавили свежие данные;
▫️ Поменяли датасет для стадии supervised fine‑tuning;
▫️ Не обошлось без изменений и в RLHF — о них расскажем подробнее позже.
📌 Использовали скрытые рассуждения
В тренировке моделей применялись данные с подробными пошаговыми рассуждениями — Chain‑of‑Thought. Благодаря этому в новом поколении улучшилась способность моделей анализировать проблему, выделять основные этапы решения и рассуждать, как реализовать эти этапы.
➡️ Подробнее про YandexGPT 4 и дальнейшие планы читайте в статье на Хабре.
Семейство моделей YandexGPT 4 включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы.
Как обучали новое поколение?
📌 Повысили эффективность обучения
Тренировки YandexGPT 4 проходили с использованием опенсорс‑библиотеки Яндекса YaFSDP. Инструмент позволяет чаще проводить эксперименты с обучением, ускорять и улучшать все этапы машинного обучения.
▫️ За счёт комплекса инструментов получилось ускорить этап alignment;
▫️ На этапе pretraining добавили в датасет новые качественные данные;
▫️ В основном обучающем датасете увеличили долю длинных документов, добавили свежие данные;
▫️ Поменяли датасет для стадии supervised fine‑tuning;
▫️ Не обошлось без изменений и в RLHF — о них расскажем подробнее позже.
📌 Использовали скрытые рассуждения
В тренировке моделей применялись данные с подробными пошаговыми рассуждениями — Chain‑of‑Thought. Благодаря этому в новом поколении улучшилась способность моделей анализировать проблему, выделять основные этапы решения и рассуждать, как реализовать эти этапы.
➡️ Подробнее про YandexGPT 4 и дальнейшие планы читайте в статье на Хабре.
- 🔥 11
- ❤ 6
- 👍 5
- 🎉 3
