🧠 YandexGPT 4: как обучали новое поколение LLM

Семейство моделей YandexGPT 4 включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы.

Как обучали новое поколение?

📌 Повысили эффективность обучения

Тренировки YandexGPT 4 проходили с использованием опенсорс‑библиотеки Яндекса YaFSDP. Инструмент позволяет чаще проводить эксперименты с обучением, ускорять и улучшать все этапы машинного обучения.

▫️ За счёт комплекса инструментов получилось ускорить этап alignment;

▫️ На этапе pretraining добавили в датасет новые качественные данные;

▫️ В основном обучающем датасете увеличили долю длинных документов, добавили свежие данные;

▫️ Поменяли датасет для стадии supervised fine‑tuning;

▫️ Не обошлось без изменений и в RLHF — о них расскажем подробнее позже.

📌 Использовали скрытые рассуждения

В тренировке моделей применялись данные с подробными пошаговыми рассуждениями — Chain‑of‑Thought. Благодаря этому в новом поколении улучшилась способность моделей анализировать проблему, выделять основные этапы решения и рассуждать, как реализовать эти этапы.

➡️ Подробнее про YandexGPT 4 и дальнейшие планы читайте в статье на Хабре.