Новая атака через коннекторы OpenAI

Пентестеры нарыли новый способ взломать ИИ агента через скрытую иньекцию промпта невидимым шрифтом в документе.

По шагам:
1. Создали вредоносный документ с невидимой инъекцией промпта.
2. Поделились документом с жертвой через Google Диск.
3. Документ немедленно попадает в контекст ChatGPT. Никаких действий пользователя не требуется!!!
4. Ждем пока пользователь попросит ChatGPT выполнить поиск на Google Диске.
5. ChatGPT видит наш документ. Ищет на Google Диске ключи API (по промпту). Отправляет их обратно на серверы взломщика через вызов url невидимой картинки, которую сам ИИ и сгенерил.

#cybersecurity #OpenAI #Connectors
———
@tsingular