Когда уязвим не ИИ, а браузер 😭

Если раньше угрозы были очевидными и касались в основном серверов или сетевого трафика, то сегодня уязвимой может быть сама строчка текста, которую вы вводите в поле запроса. Это атака, которую можно назвать Man-in-the-Prompt, и она может стать настоящим кошмаром для безопасности, особенно в мире, где ИИ уже почти везде.

Атакующему достаточно простого расширения для браузера, которое выглядит абсолютно безобидно. Оно получает доступ к DOM (структуре страницы) и начинает незаметно вставлять свои инструкции прямо в ваш запрос. Модель продолжает отвечать, но эти ответы уже не те, что вы ожидали.

Пользователь продолжает общаться с ИИ как обычно, а на самом деле данные уже могут вытекать через незаметные каналы. Системы защиты, такие как DLP или CASB, которые традиционно мониторят трафик, здесь бессильны. Всё происходит локально, внутри браузера, ещё до того, как данные покидают устройство.

Речь идёт не только о личных данных, но и о конфиденциальной информации — от API ключей и платежных данных до медицинских записей и юридических документов. Любой, кто работает с такими данными, будь то инженеры, юристы или топ-менеджеры, рискует стать жертвой этой атаки.

Удивительно, но эта атака может пройти незамеченной, так как все запросы проходят через обычный HTTPS-трафик, а расширение не требует дополнительных прав. Вы можете заметить странные изменения в файлах расширений, скрытые вкладки или необычные обращения к доменам. Однако, всё это может быть настолько мелким, что пройти мимо.

Как это работает в реальности? 😐

Исследователи LayerX продемонстрировали, как расширение может внедрять вредоносные промты в ChatGPT и Google Gemini. В случае с ChatGPT, всё выглядит как обычный запрос, но за кулисами происходит утечка данных, и злоумышленники могут сохранять эти данные в свои внешние логи. Для Google Gemini ситуация аналогична: злоумышленник может внедрять промты в сервисы Google Workspace, вытаскивать конфиденциальную информацию, такую как письма, контакты и документы, даже если панель Gemini скрыта.

Как защититься? 💻

• Контролируйте расширения браузера: разрешайте только подписанные пакеты и проверяйте их происхождение. Не забывайте про режим разработчика — отключайте его для корпоративных браузеров.
• Используйте CSP (Content Security Policy) для защиты от вредоносных скриптов и ограничения доступа к внешним ресурсам.
• Разделяйте использование ИИ и обычный веб-сёрфинг: для работы с чувствительными данными используйте отдельные профили или браузеры.
• Мониторинг и анализ DOM-активности: отслеживайте скрытые вкладки, изменения в манифестах и сервис-воркерах, чтобы выявить незаметные атаки.
• Управляйте ключами API и токенами: используйте секрет-менеджеры, не храните их в браузере, ограничьте их права и сроки жизни.
• Обучайте команду: важно понимать, что данные не должны попадать в промты. Симуляции атак помогут закрепить эту информацию в корпоративной культуре.

Вопрос защиты от атак через браузерные расширения вряд ли останется простым. Но, как бы ни были сильны наши традиционные средства защиты, всё больше становится очевидным, что новые атаки требуют новых подходов.

Data Science