Проблемы безопасности

Безопасность остаётся главным барьером. Риски разделяются на четыре категории:

1. Инъекции промптов

OWASP Top 10 для LLM приложений ставит инъекции на первое место. Кейсы:
• $1 SUV: хакер заставил чат-бот Chevrolet подтвердить продажу автомобиля за $1
• Фальшивые политики возврата: Air Canada пришлось Honour AI-обещания
• Скрытые веб-атаки: боты выполняют нежелательные действия при просмотре страниц

2. Агенты и инструменты использования

Когда AI выводы запускают реальные действия, риски растут:
• ServiceNow: атака 2-го порядка заставила высокопривилегированного агента экспортировать данные
• AI-агенты могут доверять друг другу, создавая петли повышения привилегий

3. RAG и слой данных

Подключение LLM к базе знаний создаёт новые векторы атак:
• Отравленные документы: всего 5 вредоносных файлов могут исказить ответы AI на 90%
• Инверсия эмбеддингов: атакующие могут восстановить исходные данные из векторов
• Утечки конфиденциальности: AI может случайно выдать данные из частных документов

4. Операционные риски

"Теневой AI" — сотрудники используют непроверенные инструменты:
• 77% корпоративных пользователей вставляли данные компании в чат-боты
• 22% случаев включали конфиденциальные данные