Этот термин описывает сочетание трёх условий: доступ к приватным данным, работа с недоверенным контентом и возможность взаимодействовать с внешними системами.
О возможностях ИИ-агентов говорят всё чаще. А вот с безопасностью их инфраструктуры пока не всё так очевидно.
Денис Макрушин разобрал опасности для LLM, RAG и MCP в посте с результатами исследования SourceCraft Security. Продолжаем разбор и подробнее смотрим на уязвимости этих компонентов в карточках.
❤️ С чего начать защиту своей инфраструктуры на практике?
🔡Разделить данные и инструкции, чтобы недоверенный контент не стал командой для агента
🔡Ограничить права агентов и их инструментов необходимым минимумом
🔡Проверять опасные действия и требовать для них отдельную авторизацию, а в некоторых случаях — дополнительно подтверждать действие человеком
🔡Регулярно проверять устойчивость системы и превращать результаты проверок в правила защиты
Подробнее об атаках и подходах к защите ИИ-агентов — в разборе Дениса на Хабре.