Снова погружаюсь в опенсорс LLM-ок в поисках вдохновения для их тюнинга под конкретные задачи. И наткнулся на статью, где ребята из Яндекса рассказали как обучали модельку YandexGPT пересказывать видео. Спойлер: подход крутой и он применим к разным задачам. Допустим вы решили научить вашу модельку навыку флирта с пользователями.

Как решать такую задачи с помощью LLM?

🎰 Основных подходов несколько. В случае LLM есть три основных способа научить модель решать задачу с требуемым форматом и стилем:
• p-tune,
• LoRa,
• fine-tune.
P-tune — если кратко, это автоматизированный подбор промпта. Он работает эффективнее, чем человек, которого посадили подбирать удачный промпт. Сам подход не может именно научить модель: задача должна быть достаточно простой для модели или в каком-то виде присутствовать в обучении.

Для сложных задач интереснее LoRA и fine-tune. На практике разница в размере требуемых ресурсов и максимальном качестве, которого можно достичь: у разморозки слоёв в fine-tune предел качества выше. Хотя у LoRA есть параметр — ранг. Чем больше ранг, тем более сложному навыку можно обучить модель. То есть высоким рангом можно компенсировать потенциальный предел качества. А главное, что при обучение LoRA требует меньше примеров. Счет идет на сотни или тысячи примеров для обучения.

Так что оптимизируем процессы, друзья и бежим обучать свою модельку