Главные уязвимости агентских приложений

Вот только недавно я жаловался на то, что в OWASP как-то совсем ничего нет про зарождающиеся классы уязвимостей AI приложений – и вот под это дело они опубликовали отдельный рейтинг.

1️⃣Подмена цели – атакующий манипулирует тем, какие задачи преследует агент, или тем, как он принимает решения.
2️⃣Эксплойты тулов – агент оперирует в изначально установленных пользователем рамках, но использует один из предоставленных ему тулов не так, как предполагалось – например, для удаления ценной информации, вызова дорогого API, выборочной передачи приватной информации.
3️⃣Абьюз систем IAM – здесь много всего, начиная от использования привилегий агента в злонамеренных целях, заканчивая кражей учетных данных.
4️⃣Уязвимости цепочек поставок – тоже большой класс уязвимостей, к которому можно отнести как дырки, заложенные в веса моделей или логику агентов, так и взлом через установку агентом скомпрометированных библиотек в ваши приложения.
5️⃣Выполнение небезопасного кода – то самое, что в первую очередь приходит на ум. Агент пишет код, вы его исполняете, а где-то в нем оказывается написана логика по выдаче рутового доступа к вашему серверу кому-то со стороны.