#ai #ctf #ии #aiагенты
Мир стремительно движется к повсеместному использованию LLM-агентов, автономных агентов и интеграций через MCP/Toolcalls — а значит, растет и пространство атак. Эта статья содержит разбор реальных примеров уязвимостей и атак на LLM-агенты, вдохновленный конкурсом Agent Breaker от Lakera, а также наш опыт построения собственного мультимодального фреймворка для red teaming.
Security-сообщество изучает AI-агенты по тем же причинам, по которым когда-то изучало веб-приложения, мобильные приложения и облака. Это происходит потому что:
- AI-агенты управляют действиями, а не просто отвечают текстом.
- LLM-ассистенты уже внедрены в почту, документы, CRM-системы, инфраструктуру.
- Атака может быть встроена в данные, PDF-файлы, сайт, логи, конфигурацию, и т.д.
- Злоумышленники уже используют AI для фишинга, социальной инженерии и обхода фильтров.
На конкурсе Agent Breaker, который проводила компания Lakera были продемонстрированы уязвимости современных AI-агентов. Участники создавали вредоносные входные данные, которые могли обмануть ИИ-системы. Ниже приведены ключевые задания с конкурса и примеры реальных инцидентов, на которых они основаны.
Статья носит исключительно информационный характер и не является инструкцией или призывом к совершению противоправных деяний. Наша цель — рассказать о существующих уязвимостях, которыми могут воспользоваться злоумышленники, предостеречь пользователей и дать рекомендации по защите личной информации в Интернете. Авторы не несут ответственности за использование информации. Помните, что не стоит забывать о безопасности своих данных.
Читать статью
Life-Hack - AI