Промпт, RAG или дообучение: что реально выучит вашу LLM

В этой статье автор провёл эксперимент с одной задачей и видеокартой и тремя подходами: промпт с полным регламентом на 128K токенов, классический RAG и дообучение QLoRA на 800 парах вопрос-ответ.

Результаты получились интересные: • Промпт дал 20 верных ответов из 30, но упёрся в lost in the middle и невозможность масштабирования. • RAG выиграл на фактах (9 из 10 с пруфами) и мгновенном обновлении знаний, но провалился на синтетике — ретривер принёс не те чанки и модель собрала из них правдоподобную ерунду. • Дообучение заставило модель говорить на языке команды: терминология, структура ответа, формат совпадали. Но факты заморозились на момент обучения, модель ответила старыми лимитами, не заметив обновлений.

Главный вывод что каждый из подходов не конкуренты, а слои для разных задач.
Начинайте с промпта, добавляйте RAG для свежих фактов с источниками, а дообучение воспринимайте как последний рубеж, который отвечает за поведение модели, а не за актуальность данных.

AI в разработке