Вредоносная инструкция может быть в репозитории уже сейчас ✅
Коммит, тикет или pull request способен передать ИИ-агенту не только данные, но и скрытую команду. Разберём путь такой атаки и способы защиты.
На бесплатном эфире CyberED и Код ИБ Денис Макрушин разберёт безопасность ИИ-агентов на реальных примерах.
Записаться на эфир
Как инструкция добирается до сборки. 💘
1. Атакующий оставляет текст. Вредоносная инструкция попадает в коммит, тикет или pull request, который будет обрабатывать агент.
2. Агент принимает данные за команду. Модель читает недоверенный текст вместе с рабочим контекстом и может выполнить внедрённую инструкцию.
3. Доступы усиливают последствия. Агент использует разрешённые ему инструменты и получает возможность менять код или обращаться к компонентам инфраструктуры.
4. Команда уходит в CI/CD. Изменение попадает в процесс сборки, где агент способен запустить действие с привилегиями среды.
5. Обычная проверка не замечает подмену. Поведение агента недетерминировано и может меняться без изменения кода. Поэтому pull request уже нельзя считать достаточной контрольной точкой.
Что проверить в своём процессе
⚔️какие внешние тексты читает агент и считает ли он их инструкциями;
⚔️какие права и инструменты доступны агенту в репозитории и CI/CD;
⚔️фиксируются ли действия агента и вызовы подключённых МСР-серверов;
⚔️проверяются ли входные и выходные данные с помощью guardrails;
⚔️включены ли Al red teaming и аудит МСР-серверов в CI/CD
Разбери реальные атаки вместе с экспертом
На эфире Денис Макрушин разберёт prompt injection через pull request, утечки через МСР, обход guardrails и переход от Secure SDLC к ADLC.
Встреча пройдёт в формате живого разбора. Ты сможешь задать свой вопрос и понять, какие контроли нужны агенту после подключения к коду, АРІ и рабочей инфраструктуре.
Post #4281
670

- ❤ 1
- 🔥 1
- 🥰 1
- 👀 1