#короткие_ответы_на_серьезные_вопросы

Риски в разработке AI-агентов

«Это одна из самых рискованных областей. В 2025 году OWASP даже выпустила отдельный Top 10 для Agentic Applications. Ключевые риски включают:

-Agent Behavior Hijacking (Угон поведения агента): Агент может быть обманут и выполнить вредоносные действия, например, перевести средства на счет злоумышленника.

-Tool Misuse and Exploitation (Неправильное использование и эксплуатация инструментов): Агент имеет доступ к различным API и инструментам. Атака может заставить его использовать эти инструменты не по назначению, например, удалить данные или отправить запросы на внутренние системы.

-Identity and Privilege Abuse (Злоупотребление идентификацией и привилегиями): Если агент обладает избыточными правами, его компрометация приведет к катастрофическим последствиям. Поэтому критически важно применять принцип наименьших привилегий (PoLP).

Для агентов безопасность должна быть встроена в их "конституцию" — в системный промпт нельзя закладывать критическую логику или секреты, так как они могут быть извлечены (System Prompt Leakage). Необходимо строгое разграничение прав на уровне инструментов, к которым агент имеет доступ».