ChatGPT научился воровать данные пользователей?

Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов. Эта проблема может угрожать конфиденциальности данных пользователей, а также, что ещё более важно, менять логику системы и заставлять её делать ложные выводы.

ChatGPT использует долговременную память для хранения информации о пользователе, включая возраст, пол и личные предпочтения. Это упрощает общение, так как чат-бот помнит важные данные из предыдущих разговоров. Однако путём известного приёма в виде непрямых инъекций, например, с помощью документов или ссылок, можно заставить систему поверить в несуществующие и фальсифицированные факты. В эксперименте исследователь убедил нейросеть в том, что он живёт в матрице, а Земля плоская. Все последующие диалоги с нейросетью основываются уже на этих инъектированных данных.

Особенно тревожной оказалась возможность использования внешних файловых хранилищ, таких как Google Drive, Яндекс Диск или OneDrive, для проведения этих атак.

В мае 2024 года Рейбергер сообщил об этой проблеме в OpenAI, но его обращение закрыли, не придав ей большого значения.

#нейросети #ии #безопасность