ИИ оставляет в коде уязвимости, потому что решает поставленную задачу самым коротким путём. Если в промпте явно не заданы требования к безопасности, проверок прав доступа и валидации ввода в коде просто не будет, при этом результат выглядит рабочим и проходит тесты. В итоге на прод попадают IDOR и ошибки бизнес-логики, которые никто не заметил на ревью.

С агентами в продакшене механика похожая, но последствия иные: утекают данные. Модель не разграничивает данные и инструкции, поэтому страница вики, входящее письмо или чужой документ из общего индекса могут быть восприняты как команда и выполнены. Достаточно одного такого сценария, чтобы агент отдал пользователю данные, которые не должен раскрывать.

Собрали пять уязвимостей, которые системно воспроизводятся в сгенерированном коде:
https://tproger.ru/articles/vajb-koding-kak-mechta-hakera-kakie-uyazvimosti-plodit-kod-sgene

И пять атак, которые превращают ИИ-помощника в канал утечки данных:
https://tproger.ru/articles/manual-yunogo-hakera-kak-vzlomat-svoego-rag-bota-do-togo-kak-e