🔍 Новая Уязвимость Чат-Ботов: Восстановление запроса по ответу LLM

Исследователи из Offensive AI Lab описали метод восстановления текста из перехваченных сообщений от чат-ботов. Давайте разберемся, как эта атака работает и насколько она опасна.

🛡️ Уязвимости Чат-Ботов: Как Это Возможно?

Большинство чат-ботов отправляют сообщения в зашифрованном виде. Однако из-за особенностей языковых моделей (LLM),  эффективность шифрования снижается. Это открывает возможность атаки через сторонние каналы, где содержимое сообщения может быть восстановлено по сопутствующим данным.

🔒 Механика LLM и Чат-Ботов: Как Это Работает?

Большие языковые модели работают с токенами, а не отдельными символами или словами. При этом чат-боты отправляют сообщения постепенно, слово за словом.
Более того большинство продуктов, не используют сжатие, кодирование или дополнение перед шифрованием данных. Используя эту особенность, атакующие могут восстановить текст запроса.

📉 Ограничения Атаки и Результаты

Хотя атака может быть успешной, ее эффективность зависит от языка текста. Для английского языка результаты были более успешными, чем для других языков, например для русского. Согласно отчету Offensive AI Lab для английского языка общую тему беседы удавалось корректно установить в 55% случаев. А успешно восстановить текст в 29% случаев.

🔍 Вывод

Учитывая возможные риски, не стоит передавать конфиденциальную информацию в запросах к нейросетям. Берегите свои персональные данные и данные ваших клиентов! Stay secure and read SecureTechTalks 📚

#Кибербезопасность #ЧатБоты #Уязвимости🛡️