Агент может забыть прошлое после замены модели — даже если базу памяти не трогали 😊

Исследователи сравнили четыре способа хранения памяти: полную историю, RAG, сжатые моделью заметки и граф знаний с фиксированной схемой.

Когда заметки, написанные одной LLM, передали другой, точность изменилась на +9,9 пункта в одном направлении и на −13,3 в обратном. Усреднение показало бы почти нулевую разницу, скрыв поломку конкретной миграции.

Ещё опаснее смешивание эмбеддингов. Старый и новый энкодеры выдавали векторы одинаковой размерности — 1024, поэтому база продолжала работать без ошибок. Но индекс с половиной старых и половиной новых векторов потерял почти 60% возможного прироста качества от обновления.

Для тебя вывод: замену LLM или эмбеддингов нужно считать полноценной миграцией памяти. Проверяй каждое направление старая модель → новая, храни версии писателя и энкодера, создавай новый векторный индекс отдельно и переключайся только после проверки. Исходные события лучше сохранять в защищённом архиве: переписыванием кратких заметок уже не вернуть отброшенные факты.

Ограничение: тест проводился на 48 синтетических историях и двух открытых моделях до 10 млрд параметров. Проценты не универсальны, но оба типа тихой поломки вполне реальны.

Пруф:
🔘исследование о переносимости памяти агентов от 4 сентября 2026 года

#aiagents #agentmemory #rag #embeddings #vectordatabase #llmops

@data_engi