🧨 ChatGPT: изолированные аккаунты могут обмениваться данными

Два пользователя ChatGPT работают под разными аккаунтами. Для выполнения кода создаются отдельные контейнеры, которые не должны видеть окружение друг друга. Интернет ограничен, настроена сетевая изоляция. Что может пойти не так?

Исследователи Check Point Research обнаружили внутри инфраструктуры OpenAI общий сервис, через который контейнеры разных пользователей могли обмениваться данными.
В демонстрации этот канал использовали для передачи скрытых инструкций агенту другого пользователя, а цепочка в итоге дошла до данных из подключённого Gmail.

⚙️ Общим оказался Artifactory

Контейнеры ChatGPT должны откуда то получать Python и npm пакеты. Для этого они имели доступ к внутреннему JFrog Artifactory, который выступал посредником для загрузки зависимостей.
Исследователи обнаружили, что через доступные внутри контейнера credentials можно записывать дополнительные properties в метаданные объектов Artifactory. Затем оказалось, что эти properties видны из окружения другого аккаунта.

Эксперимент получился довольно интересным. Исследователь записывал значение из контейнера аккаунта A, переходил в ChatGPT под аккаунтом B и читал его оттуда.
Изолированные контейнеры получили общий shared clipboard.

🔥 Из shared clipboard сделали канал управления

Дальше исследователи построили поверх двусторонний канал. Один аккаунт оставлял через Artifactory скрытую инструкцию, контейнер другого аккаунта получал её, выполнял и записывал результат обратно.

После подключения к тестовому ChatGPT аккаунту Gmail, атакующий стал размещать инструкцию, чтобы получить данные из почты. Пользователь тем временем задавал ChatGPT обычный вопрос. Агент обрабатывал запрос пользователя, одновременно получал скрытое задание через общий инфраструктурный сервис, обращался к Gmail и возвращал полученные данные через тот же канал.

🕵️ Агент превращается в инсайдера

Check Point придумали для такого сценария термин coerced insider. У AI агента уже есть легитимные полномочия пользователя. Он может обращаться к подключённой почте, файлам и другим сервисам. Поэтому атакующему необязательно самостоятельно получать доступ к Gmail жертвы. Гораздо интереснее заставить это сделать агента, которому пользователь уже предоставил необходимые права.

🔗 Источник: Check Point Research

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #ChatGPT #OpenAI #AI #DataLeak #Gmail #CloudSecurity #CyberSecurity #SecureTechTalks