⚠️ Общий канал может перенести атаку между изолированными агентами
1 октября Simon Willison процитировал специалиста по безопасности Мэтью Грина: в эксперименте агенты в отдельных песочницах оставляли инструкции в общем кэше пакетов, и те меняли поведение других агентов. Грин описывает «червя» как сочетание двух частей: инструкции, захватывающей управление агентом, и агента, который передаёт их следующему.
Возможные каналы распространения — почта, Slack, общие документы и WhatsApp; вместо отдельных учебных запусков Грин предлагает представить персональных агентов вроде Muse. Механизм здесь не в побеге из песочницы: агент переносит инструкции через канал, которому получатель уже доверяет.
Это описание модели угроз, а не сообщение о черве, заразившем развёрнутых персональных агентов. Но оно показывает ограничение изоляции: она контролирует действия внутри среды, а не смысл данных, которые агент читает извне.
Я бы проверял безопасность не только по тому, куда агент может записывать, но и по тому, какие сообщения он принимает за команды. Если общий канал превращает чужой текст в исполняемую инструкцию, песочница защищает не ту границу.
Simon Willison: цитата Мэтью Грина
#безопасностьИИ #ИИагенты #песочницы #кибербезопасность
Post #315
5