В первой части поста рассказали о двух способах запуска языковой модели в компании — создать свою модель или использовать готовую. Рассказываем, как дообучить готовую LLM на ваших данных, чтобы решать узкоспециализированные задачи.

✅ Дообучаем языковую модель

1. Выберите и запустите модель по инструкции выше.

2. Выберите метод дообучения. Часто эффективнее не дообучать LLM целиком, а воспользоваться методом LoRA — он не меняет исходные веса модели, а добавляет к ней новые параметры. Он быстрее и дешевле полноценного файнтюнинга и, кстати, есть в Yandex Cloud.

3. Подготовьте данные. В зависимости от метода дообучения формат датасета может различаться. Например, это могут быть пары ответов с пометкой, какой из них лучше, или условная таблица с двумя колонками (пример запроса и правильного ответа). Чем данных больше, тем лучше.

Иногда достаточно просто собрать их, но зачастую нужны очистка и разметка. В каждом конкретном случае очищать и размечать данные нужно по-разному. Помните: эффективность дообучения зависит от чистоты и разнообразия данных.

4. Запустите дообучение модели самостоятельно или с помощью облачного провайдера. В первом случае нужно скачать набор библиотек для конкретной модели (их можно найти на HuggingFace) и запустить программный код для дообучения. У каждой модели, как правило, есть свой туториал по дообучению.

5. Придумайте метрики, которые позволят понять, получилось ли дообучить модель под ваши цели. Например, проведите side by side-тестирование, сравнив вашу LLM с baseline-моделью.

Всё же понятно?

😍 — да, уже иду делать
🤝 — да, скинул пост коллегам-айтишникам

Подписывайтесь 👉 @yab2btech