⚙️ LLM меняют стратегию: что происходит внутри модели во время обучения

LLM сегодня — уже де-факто стандарт, но ключевой вопрос остаётся открытым: как именно они учатся решать задачи?

Особенно это касается in-context learning (ICL) — способности обучаться «на лету» во время инференса. Работа с ICML 2025 предлагает неожиданный поворот: возможно, ICL — это не фундаментальное свойство, а лишь временный режим работы модели.

➡️ Что происходит внутри LLM

Авторы статьи изучают поведение модели по ее поведению в специально подобранных тестах. Это позволяет разделить, на что опирается модель: на контекст или на знания, зашитые в весах. В результате экспериментов было показано, что внутри модели сосуществуют несколько стратегий обучения.

Помимо ICL появляется гибридный режим — context-constrained in-weights learning (CIWL), где модель использует веса, но с учётом ограничений из контекста.

При этом:
🟣ICL возникает на ранних этапах и даёт быстрый буст;
🟣затем постепенно «затухает»;
🟣и уступает место CIWL.

➡️ Как это измерили

Эксперименты сделаны максимально «чисто»:
🟣небольшой transformer (2 слоя, attention-only);
🟣синтетическая few-shot задача (Omniglot).

Ключевой инструмент — набор behavioral evaluators, которые «ломают» разные источники сигналов:
🟣ICL evaluator → рушит выученные соответствия;
🟣IWL evaluator → убирает нужный пример из контекста;
🟣CIWL evaluator → сохраняет метку, но ломает связь с примером;
🟣Flip evaluator → создаёт конфликт «контекст vs веса».

Именно Flip evaluator — центральный: он показывает, какой сигнал выбирает модель при конфликте. Через него авторы восстанавливают динамику стратегий во время обучения.

➡️ Почему это важно

Работа показывает нетривиальную механику обучения трансформерных моделей: поведение трансформеров — это не одна способность, а динамика стратегий, которые меняются по ходу обучения. И, возможно, ICL — это не фундамент модели, а лишь побочный эффект этой динамики.

А что думаете вы?
Замечали ли вы, что модель «переключает режим» — между использованием контекста и знаниями из весов?👇

Обзор статьи подготовлен командой AI VK
#обзорстатьи