Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
1. Текст предварительно разбивается на логически завершённые сегменты. Так, чтобы в кэше оставались не отдельные токены, а самые важные законченные мысли
2. Определение значимости сегментов встраивается не поверх, а прямо последним слоем в модель. То есть релевантная информация извлекается прямо во время инференса
Чем-то похоже на недавнюю статью DeepSeek (наш разбор). Очень ждем, пока что-то такое наконец будет в опенсорс продакшене.
arxiv.org/abs/2502.12962