📌 Память ИИ-агента: удобство или риск?
Долговременная память помогает ИИ-агенту учитывать предыдущий контекст и историю взаимодействия, но создает новые угрозы:
🔹 Накопление ПДн — при ошибках в настройке архитектуры агента, он может начать сохранять персональные данные пользователей.
🔹 Отравление памяти — вредоносная инструкция может попасть в память агента и влиять на все будущие сессии (OWASP Agentic Top 10, ASI06).
🔹 Каскадные ошибки — неверные данные или инструкции могут сохраняться в памяти и влиять на последующие решения.
Что делать? Управлять жизненным циклом знаний: ограничивать срок хранения, проверять записи в памяти, контролировать доступ.
📄 Подробности — в «Коммерческом обосновании внедрения корпоративного ИИ»
Post #259
100

- 👍 2