Современные большие языковые модели (Large Language Models, LLM) произвели революцию в нашей способности обрабатывать и понимать огромные объемы текстовых данных. Однако эти модели, такие как LLaMA и LLaMA2, часто имеют недостаток: они ограничены фиксированной длиной контекста, что означает, что они не могут работать с длинными последовательностями входных данных при оценке. В данной работе это ограничение решается путем исследования различных методов "экстраполяции длины контекста", что, по сути, позволяет этим моделям понимать и работать с более длинными текстовыми последовательностями.

Ссылка на статью: https://arxiv.org/abs/2308.10882
Ссылка на код: https://github.com/abacusai/Long-Context

Обзор статьи: https://andlukyane.com/blog/paper-review-giraffe