Token Smuggling. Он включает различные техники маскирования текста, например, использование различных шифров, кодировок, транслитераций. Такие атаки позволяют обходить как внутренние ограничения модели, так и внешние фильтры, например, использующие регулярные выражения. Недостатком таких атак является то, что в обучающих данных атакуемой модели должны быть различные кодировки и шифры, иначе модель просто будет галлюцинировать.В HiveTrace Red этот класс представлен из коробки: эти атаки используют класс
AlgoAttack. Поэтому, чтобы его попробовать, вам не потребуется атакующая модель. В инструменте реализованы как популярные методы: Base64, ROT13, азбука Морзе, так и менее известные. Например, нечасто можно встретить использование транслитерации для атаки LLM. Также фреймворк включает атаки с использованием символов юникода как для русского, так и для английского языка. Они подменяют символы на визуально похожие: 1 -> ①, A -> 🇦, а -> α.Мы провели тестирование модели gpt-oss-120b и получили ASR 19% для этого класса атак. Модели gpt-oss заявлялись как максимально защищенные, для их тестирования даже устраивали red teaming ctf. Тестирование показывает, что даже модели с продвинутой защитой остаются уязвимыми к промпт-атакам.
На вебинаре 28 октября расскажем о том, как с такими и другими атаками работают продукты HiveTrace. 👉 Регистрируйтесь, чтобы получить ссылку на трансляцию перед началом