💡Исследователи из Google DeepMind, Open AI, ETH Zurich, McGill University и University of Washington разработали новую атаку для извлечения ключевой архитектурной информации из проприетарных больших языковых моделей (LLM) таких как ChatGPT и Google PaLM-2.
💻 Исследование демонстрирует, как злоумышленники могут извлечь скрытые данные из чат-бота, работающего на базе LLM, чтобы полностью дублировать или украсть его функциональность. Атака, описанная в техническом отчете, выявила слабые места, с которыми создателям инструментов ИИ предстоит бороться в ближайшей перспективе.
🎯 Извлечение Скрытых Данных
Информация о интерфейсах прикладного программирования позволяют разработчикам интегрировать инструменты с ИИ в свои собственные приложения, продукты и услуги. API позволяют использовать языковые модели для ряда use case, например для создания виртуальных ассистентов и чат-ботов.
💶 Исследователи из DeepMind, OpenAI хотели узнать, какую информацию они могли бы извлечь из моделей ИИ, делая запросы к API.
🪜 Атака "Сверху-Вниз"
Информация в последнем слое модели может включать важные подсказки о том, как модель обрабатывает входные данные, преобразует их и выполняет сложную последовательность процессов для генерации ответа.
Успешные атаки на этом уровне могут раскрыть "ширину трансформаторной модели, которая часто коррелирует с общим количеством ее параметров.
Такой подход немного снижает степень того, что модель является полностью 'черным ящиком'
За менее чем 20 долларов США наша атака извлекает полную матрицу проекции языковых моделей.
⚔ Факт того, что вообще возможно украсть какие-либо параметры производственной модели, удивителен и вызывает большие опасения.
😱 Ранее в этом месяце, например, исследователи из HiddenLayer выпустили отчет, в котором описали, как они смогли добиться от Google Gemini неправильного поведения различными способами, отправив ему тщательно структурированные запросы. Stay secure and read SecureTechTalks🛡
#ChatGPT #AI
#SecureTechTalks