0,12% дополнительных параметров — и ИИ-агент получает рабочую память, которую RAG дать не может.

RAG ищет документы. Он не запоминает — он каждый раз заново находит. Агент кодинга, который «забыл» шаг отладки пятиминутной давности, или аналитический агент, перезагружающий уже обработанный контекст — эт/Users/antonlapuhin/Downloads/image.pngо не баги, это архитектурный потолок.

Исследователи предложили подход delta-mem: компактный модуль, который сжимает историю взаимодействий агента в динамическую матрицу фиксированного размера. Никаких изменений базовой модели. Никакого роста контекстного окна. Только 0,12% новых параметров — против 76% у ближайшего аналога.

Результат: агент накапливает контекст непрерывно, без квадратичного роста затрат и без «контекстного гниения» при переполнении окна.

RAG нужен для поиска. А для того, чтобы агент помнил — нужна другая архитектура. 🧠

Разбираем ИИ-инструменты для бизнеса →
ИИ Инструменты | Контент-завод | База знаний