Память агента нельзя оценить, если он её не видел 🤨

1 октября исследователи представили Causal Memory Policy — метод для проверки полезности записей в памяти LLM-агента.

Проблема в обычной схеме проста: если ретривер ни разу не добавил запись в контекст, эксперименты «оставить или удалить» дают одинаковый результат. Система принимает отсутствие эффекта за бесполезность и может стереть важную информацию.

CMP резервирует несколько слотов контекста для случайно выбранных записей с известной вероятностью показа. Затем их причинный эффект оценивается с поправкой на эту вероятность.

На LongMemEval прежняя схема не могла оценить 54% нужных записей, на LoCoMo — 67%. CMP повысила качество отделения нужной памяти от ненужной с 0,54 до 0,66 AUC.

Для тебя вывод: очистку памяти агента нельзя строить только на частоте извлечения или наблюдаемом влиянии на ответы. Нужны контролируемое исследование редко показываемых записей и логирование вероятностей retrieval.

Но безопасное удаление метод пока не решает: полезность для текущего запроса достигала 0,78 AUC, однако не предсказывала ценность записи для будущих запросов. Поэтому необратимое удаление лучше заменять архивированием или поэтапным вытеснением.

Исследование Causal Memory Policy от 1 октября 2026 года

#aiagents #agentmemory #retrieval #causalinference #llmops #longtermemory

@data_engi