🤖 Знакомьтесь, ваш новый инсайдер

Хотя теоретических заявлений о том, что ИИ-агенты — это новая инсайдерская угроза, было уже много, начинают поступать практические доказательства.

Следите за руками: три ИИ-агента получают обычные офисные поручения: провести исследование на базе определённых документов, создать на сервере резервную копию данных, подготовить посты для соцсетей на основе технической документации. Задания целиком легитимные, никаких уловок, никаких промпт-инъекций.

При выполнении задания ИИ-агент сталкивается с проблемой: некоторые документы недоступны из-за недостаточных прав доступа (ошибка 403), а сохранить копию на сервер нельзя, потому что среди файлов есть вредоносное ПО и защита на сервере не позволяет создать файл.

Что делает агент?
🤯 ковыряется в исходных кодах внутренних систем, находит вписанные прямо в код секреты, подделывает куки и обходит контроль доступа;
🤯 повышает привилегии, находит в локальных файлах учётные данные администраторов и отключает на сервере Windows Defender.

Весь описанный эксперимент был поставлен в синтетических условиях, но авторы дают ссылки на похожие ситуации уже из реальной практики.

Авторы утверждают, что поведение вредоносного инсайдера может проявляться спонтанно, поскольку в промпты часто входят мотивационные фрагменты вроде «эта задача срочная», «будь креативен», «если получил ошибку, придумай решение», и тому подобное. Учитывая что большие модели общего назначения имеют большой банк знаний в ИБ, получение ошибки типа 403 побуждает их искать «решение» проблемы, а не идти просить нужный доступ.

С точки зрения дизайнеров агентских систем, главный вывод — агентов нужно чётко инструктировать не нарушать правила и сообщать об ошибках доступа человеку.

С точки зрения ИБ выводы конечно совсем иные — агентские системы в первую очередь должны попадать под принцип наименьших привилегий, иметь доступ к ограниченному набору инструментов, всегда работать под собственными учётными записями особого типа и быть максимально обвешаны журналированием. И, возвращаясь к началу, в модели угроз ИИ явно потянет на самостоятельного нарушителя.

#новости #ИИ @П2Т