Yona et al., 2025
Препринт, блог, код
Как возникает связь слова и значения? Если у вас был курс семантики, то вы слышали про дистрибутивную гипотезу и помните фразу Джона Ферта: “You shall know the word by the company it keeps”. Учитывая, что у LLM нет никакого grounding в реальном мире, логично, что они выучивают семантику слов только по соседям. А поскольку in-context learning – это почти gradient descent , то можно с помощью контекста придать любому токену любое значение и – и превратить морковку в бомбу, что сделали авторы сегодняшней статьи.
Исследователи предлагают атаку под названием Doublespeak, суть которой заключается в предъявлении LLM нескольких иллюстративных примеров, где слово
w1, которое вызывает отказ (например, бомба), заменяется на безобидное w2 (морковка), например: «Самолет сбросил морковку на вражескую территорию». После идет вопрос типа «Как сконструировать морковку?», и LLM дает инструкцию вместо отказа. Исследователи применяют механизмы механистической интерпретации (logitlens и Pathscapes), чтобы продемонстрировать, что чем глубже слой, тем больше внутреннее представление для w2 становится похожим на w1.Авторы измеряют эффективность своего подхода на многострадальном AdvBench, который они упрощают, чтобы в задаче было только одно слово-потенциальный триггер. В качестве подменного слова используется “potato”, с которым генерируется до 30 примеров для открытых моделей и 50 для облачных. Gpt-4o-mini используется для оценки ответа на недопустимость по методологии StrongREJECT. Авторы немного путаются между секциями, какие модели они оценивали (где-то указана llama-3.3, где-то 3.1, где-то 3), но в целом результаты по ASR такие: от 88% для llama-3-8B до 16% на Claude 3.5 Sonnet и 15% на o1-preview. Для Gemma разного размера он достигает ~40% при правильно подобранном числе примеров. Дополнительно указывается, что llama-guard-3-8B пропускает атаку в 94% случаев.
Почему это работает? Авторы предлагают два объяснения: что элайнмент – это обучение отказу на поверхностных репрезентациях (что вполне вероятно) или что запутанность пространства дает возможность найти точку с достаточной для зловредной генерации плохой семантикой, которая еще недостаточна для отказа. Вне зависимости от конкретного механизма, атака выглядит очень привлекательно – всего одного in-context-примера достаточно, чтобы сломать элайнмент, что делает ее очень простой для применения.