Google выложила исследование, которое может пошатнуть монополию трансформеров.
Последние 7 лет почти все крупные модели, от ChatGPT и Claude до Gemini, строились на одной и той же архитектуре: Transformer.

Проблема в том, что у трансформеров дорогая память. Чтобы учитывать контекст, они сравнивают каждый токен со всеми остальными. Из-за этого вычислительная стоимость растёт квадратично вместе с длиной контекста.
Альтернатива существует давно: RNN. Они быстрые, дешёвые и работают линейно, но страдают от другой проблемы.

Чем длиннее последовательность, тем больше информации они забывают.
Google предлагает компромисс.

В работе Memory Caching: RNNs with Growing Memory исследователи добавили RNN возможность сохранять промежуточные состояния в кэш по мере обработки последовательности.

Вместо фиксированной памяти модель получает память, которая может расти вместе с длиной контекста.
Авторы реализовали несколько вариантов механизма, включая выборочное сохранение состояний, где модель сама решает, какие участки контекста стоит запомнить.

На задачах с длинным контекстом и интенсивным использованием памяти такие Memory-Cached RNN заметно сократили разрыв с трансформерами.

При этом им не требуется платить квадратичную цену за обработку всей истории на каждом шаге.
Самая интересная мысль из статьи: возможно, для длинных диалогов и больших контекстов необязательно постоянно прогонять всю историю через attention.

Если подход масштабируется так же хорошо, как выглядит на бумаге, нас может ждать первая за долгое время серьёзная альтернатива Transformer-архитектуре.

https://arxiv.org/pdf/2602.24281

👉 @PythonPortal