Речь идет об архитектуре Recursive Language Models (RLM), предложенной Alex Zhang и др. исследователями из MIT. Она новая, статья вышла в самом конце 2025 года.
Представьте себе модель, которая читает свой контекст не как полотно текста, а управляет им с помощью инструментов, как программой. Вот это и есть RLM. Если быть конкретнее, работает это вот так:
– Весь контекст хранится вне промпта, где-нибудь в хранилище. Модель не читает его целиком, а решает, как разбить задачу, что и где надо в контексте поискать и какие шаги сделать, чтобы дать качественный ответ.
– Только имея план решения, модель начинает обращаться к базе. При этом начинается главное – рекурсия. Модель как бы создает локальные мини-контексты, обрабатывает их, а затем сжимает результаты. То есть есть большая задача → разбиваем на N подзадач → каждая подзадача читает маленький чанк → и возвращает сжатый артефакт.
– Итоговые артефакты на порядки меньше исходных данных, и их уже можно держать в рабочем контексте и обрабатывать. Из них, собственно, LLM и собирает итоговый ответ.
Таким образом можно обрабатывать до 10 миллионов токенов и больше без потери качества именно за счет масштабирования пайплайна, а не длины контекстного окна.
Одна беда: исходная реализация была, мягко говоря, не production-ready. Классический исследовательский код. Но тут на помощь пришли Google и реализовали, считай, полноценную RLM систему на своем Agent Development Kit.
У Google RLM научились взаимодействовать с инструментами, к ним теперь можно подключить любые файловые системы, появилась поддержка параллельных запусков, интерфейс для отслеживания прогресса рекурсии, надежное логирование и управляемость. Короче, теперь это полноценный инженерный фреймворк, бери и пользуйся.
К слову, даже сама статья, когда она вышла, не хайпанула так громко, как ее реализация от Google (скорее всего, про нее бы так и забыли). Вот что значит хорошая имплементация.
Код
Блог Google
Оригинальная статья