Делаем акцент на взаимодействие, а не на математическую модель.

1. Promt injection. Тут всё просто - попытка манипулировать входными данными для обхода системных промтов и политик безопасности. Воздействие может быть прямое ("Забудь все предыдущие инструкции") и косвенное (например, вредонос скрыт во вложении);
2. Небезопасная обработка вывода. Здесь проблема кроется в валидации вывода "потребителем", а точнее к слепому доверию к ответу агента;
3. Злоупотребление инструментами. Агенты часто могут автономно вызывать внешние инструменты (делать http-запросы, работать с ФС, дёргать API других сервисов). Соответственно, широкие привилегии и отсутствие контроля контекста исполнения могут быть эксплуатированы злоумышленником;
4. Утечка чувствительных данных. ИИ-система может временно или персистентно хранить информацию, и если в архитектуре не заложено шифрование, механизмы контроля доступа, то данные могут быть скомпрометированы.
5. Атаки на цепочки поставок. Здесь тоже ничего сложного - компоненты, из которых состоит система, могут стать потенциальной точкой входа - сторонние библиотеки, плагины, инструменты и пр).

#ПолеСобесов

🧠Кибер ПТУ | 👨‍🏫Менторство ИБ
📂Другие каналы