Составили рекомендации, как безопасно разрабатывать ИИ‑агентов и мультиагентные системы

#ииагент #безопасность

Команда Yandex Cloud опубликовала руководство по снижению рисков при разработке и внедрении агентов на базе LLM. Мы обобщили опыт создания агентов для ML, Security и других сервисов Яндекса, которые уже используют агентную систему и генеративные технологии компании.

Результатом этой работы стал подход к разработке модели угроз при внедрении, а также методы защиты для ключевых компонентов:

самих генеративных моделей,

модулей и баз знаний, которые используются в работе ИИ‑агентов.

Особое внимание мы уделили безопасности данных и предотвращению рисков, возникающих из‑за автономности агентов.

Читать документ

При подготовке рекомендаций мы также учли лучшие практики международных организаций, включая OWASP®, NIST и MITRE ATT&CK®.

Предложенные в документе принципы безопасной разработки используются на всех этапах при создании автономных или взаимодействующих между собой ИИ‑агентов в сервисах Яндекса. Команды безопасности ещё на стадии проектирования изучают будущую архитектуру и проверяет её на безопасность. Затем специалисты тестируют код на возможные уязвимости и проверяют на соответствие стандартам безопасной разработки.

Источник

Life-Hack - AI