🤖🤖 Яндекс выпустил новое поколение языковых моделей — YandexGPT 5 — и одну из них выложил в открытый доступ. Рассказываем на их примере, как обучаются нейросети и что такое предобучение и дообучение.

📖 Этап 1: предварительное обучение, или pre-training — начальный процесс обучения любой GPT-модели. Это можно сравнить со школой: модель получает базовые знания обо всём, что может пригодиться в будущем.

Задача нейросети во время предобучения — прочитать часть текста из датасета и написать продолжение (следующий токен). Таким образом она постепенно учится писать тексты, похожие на написанные людьми.

Предобучение — это самая ресурсоёмкая часть создания языковой модели, потому что на этом этапе модель «читает» триллионы токенов или слов, собранных из интернета. Но многие компании делятся с сообществом своими наработками и выкладывают в опенсорс базовые модели — для разработчиков и бизнеса такие модели удобнее в адаптации под собственные задачи, чем инструктивные (дообученные).

Сегодня Яндекс выложил в опенсорс базовую модель YandexGPT 5 Lite. Она имеет максимально широкое применение и может быть использована в разработке, бизнесе и научных исследованиях. Благодаря своей компактности YandexGPT-5-Lite Pretrain не требует больших вычислительных мощностей и будет полезна тем, кому нужна небольшая русскоязычная модель. Модель опубликована на Hugging Face.

🤖 Этап 2: дообучение, или fine-tuning — это процесс, который превращает базовую модель в полноценного ассистента.

Во время дообучения модель учится совершенно новому навыку — она начинает воспринимать текст пользователя как запрос, на который нужно дать осмысленный и полезный ответ. Вместо простого продолжения текста модель учится различать, где запрос, а где ответ, понимать контекст разговора и генерировать именно такой текст, который решает поставленную пользователем задачу.

Этот процесс трансформации происходит благодаря датасетам, содержащим примеры диалогов между человеком и ассистентом. Их создают ИИ-тренеры, которые пишут эталонные ответы на самые разные вопросы — от просьбы написать поздравление для коллеги до вопроса, как устроены чёрные дыры.

Для создания YandexGPT 5 Pro инженеры Яндекса улучшили обучающий датасет, добавив больше сложных и разнообразных примеров, усложнили задания на этапе обучения, чтобы модель лучше справлялась с трудными вопросами, внедрили методы обучения с подкреплением (DPO и PPO), а также собственную модификацию LogDPO, которая помогает избежать эффекта «разучивания» (ситуации, когда модель забывает уже выученные знания), оптимизировали процесс обучения при помощи YaFSDP, на 25% снизив потребность в вычислительных ресурсах.

И впервые применили метод гибридного обучения — добавили в стандартный цикл обучения на собственных датасетах базовые настройки открытой модели Qwen. Всё это помогло сократить затраты на обучение и увеличить скорость обучения до 20 раз.

Оценить качество работы новой модели можно самому — она уже доступна пользователям в чате с Алисой и разработчикам и представителям бизнеса в сервисе Yandex Cloud Foundation Models.

Подписывайтесь 👉 @techno_yandex