🙂 Память AI-агента оказалась скрытой системой прав

Исследователи ETH Zurich и Georgia Tech показали новый класс ошибок: агент может сам «выдать» себе полномочия — без взлома и вредоносного промпта.

При последовательном обновлении памяти модель иногда забывает отзыв разрешения или расширяет его смысл. В финансовых сценариях ложные полномочия появились в 50,2% запрещённых запросов. Если ошибка уже попала в память, исполнитель совершал действие в 98,6% случаев.

Даже типизированный JSON не решил проблему: структура проверяет формат, но не истинность записанных прав.

Вывод: разрешения нельзя хранить только в редактируемой LLM памяти. Источником истины должен оставаться неизменяемый журнал событий, а право на конкретное действие нужно проверять детерминированно перед вызовом инструмента.

Предложенная авторами схема с журналом и редьюсером снизила долю запрещённых действий с 25,3% до 9%, но одновременно стала блокировать много разрешённых операций. Это пока исследовательский результат, а не готовая система контроля доступа.

Пруфы:
🔘исследование от 1 сентября 2026 года
🔘код EAL-Bench

#aiagents #agentmemory #authorization #llmsecurity #eventsource #aievals

@data_engi