Ваш агент - это ваш риск

Рисерчеры из Гугла нашли десятки атак, которые прямо сейчас работают на ИИ-агентах. И это пиздец насколько всё плохо

🔵 Невидимые инструкции в коде страницы - человек не видит, агент читает и выполняет
🔵 Команды спрятаны прямо в пикселях картинки
🔵 Сервер определяет что к нему пришёл агент и подменяет страницу на лету
🔵 Авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
🔵 Несколько подложных документов - и агент считает их проверенным фактом
🔵 Заражённая сессия запоминается и тащится дальше - 0.1% документов может изменить поведение всей RAG базы
🔵 Одно письмо заставило корпоративного агента слить весь контент
🔵 Суммаризатор пересылал юзеру инструкции по установке вируса как официальную рекомендацию
🔵 Поддельный финансовый отчёт — и десятки торговых агентов одновременно сливают активы
🔵 Вредоносная нагрузка разбита по разным источникам, собирается только при объединении

Короче, агенты - мощная хуйня, но пока они тупые как пробки и верят всему что им подсовывают. Если запускаешь агента с доступом к деньгам или данным — хотя бы представляешь какие векторы атаки существуют 😐

Чат | YouTube | Приватка | Proxy | Проекты фармера