Стихи стали универсальным ключом для взлома GPT-4 и Gemini

Исследователи обнаружили изящный способ обхода защитных фильтров популярных нейросетей — «поэтический джейлбрейк». Метод Adversarial Poetry использует одну LLM для написания специфических стихотворений, которые при подаче на вход другой модели (GPT-4, Claude 3 или Gemini) ломают её систему безопасности. Ритмические конструкции и рифмы запутывают алгоритмы модерации, заставляя их пропускать запросы, которые в обычной форме были бы заблокированы.

Взломанные таким образом модели послушно генерируют инструкции по противоправным действиям, фейковые новости и токсичный контент, полностью игнорируя этические настройки. Опасность метода кроется в его доступности: для атаки не нужны глубокие технические знания архитектуры, достаточно просто стравить две нейросети в рифмованном баттле, где одна убедит другую нарушить правила. Похоже, ямб и хорей стали новым эксплойтом нулевого дня.