[Код & датасеты]
Исследователи из MIT и ETH Zurich предлагают SDFT (Self-Distillation Fine-Tuning) — метод для непрерывного обучения (continual learning) языковых моделей. Главная проблема SFT при обучении новым навыкам — это catastrophic forgetting (забывание старых знаний) и distribution shift, так как SFT по своей сути является off-policy методом (модель учится на экспертных данных, а не на своих собственных генерациях).
Авторы предлагают заменить SFT на on-policy дистилляцию, где модель выступает учителем сама для себя, используя in-context learning.
Метод: On-Policy Distillation via ICL
Идея SDFT строится на том, что LLM — отличные in-context learners. Если подать модели экспертную демонстрацию (
c) в контекст, она начинает вести себя как "улучшенная версия себя", близкая к оптимальной политике.• Teacher & Student: используется одна и та же модель
π.Student (
P): получает только запрос x. Генерирует ответ y на основе своей текущей политики. Это on-policy данные.Teacher (
Q): получает запрос x + экспертную демонстрацию c (пример идеального ответа). Выдает распределение вероятностей токенов на сгенерированной студентом траектории y.Важно: веса учителя — это EMA весов студента, что критично для стабильности обучения.
• Objective: минимизируется обратная KL-дивергенция между студентом и учителем на сэмплах студента:
L(θ) = E_y~Student [ log (Student(y|x) / Teacher(y|x, c)) ] Это эквивалентно on-policy RL, где награда определена неявно через отношение правдоподобия учителя к студенту:
r(y, x, c) = log π(y|x, c) - log π_k(y|x)• Optimization: градиенты считаются через likelihood ratio estimator. Используется full analytic per-token estimator для KL (считают KL для всего словаря на каждом шаге), что уменьшает дисперсию по сравнению с token-level approximation.
Эксперименты
Метод тестировали в двух сценариях непрерывного обучения:
• Skill Learning: обучение новым навыкам (Science Q&A, Tool Use, Medical Reasoning) без потери общих способностей модели.
• Knowledge Acquisition: внедрение новых фактов (события 2025 года, которых не было в претрейне) в веса модели.
Для оценки забывания использовали стандартный набор бенчмарков: MMLU, GSM8k, HumanEval и др. В качестве базы — Qwen2.5-7B-Instruct.
Результаты
• Против SFT: SDFT значительно превосходит SFT. В задачах на новые навыки SDFT достигает более высокой точности и практически не деградирует на старых задачах, тогда как SFT вызывает сильное забывание.
• Sequential Learning: в тесте на последовательное обучение трем навыкам подряд (Tool Use -> Science -> Medical) SDFT демонстрирует стабильный рост всех навыков. SFT же начинает "забывать" первый навык, как только переходит ко второму, демонстрируя осцилляцию.
• Knowledge Injection: в задаче внедрения новых знаний SDFT точнее и показывает почти идеальное обобщение на out-of-distribution вопросы (вопросы, требующие знания фактов, но сформулированные иначе).
• Teacher Quality: авторы показали, что учитель с демонстрацией в контексте (
Teacher(y|x, c)) находится гораздо ближе к исходной модели (по KL), чем модель после SFT на тех же данных. Это объясняет, почему он помогает сдерживать дрейф распределения.