🎤 AudioHijack: невидимая (и неслышимая) инъекция команд в голосовые ИИ-модели

Исследователи из Zhejiang University, NTU и NUS представили на IEEE S&P 2026 атаку, которая позволяет спрятать вредоносные инструкции прямо внутрь обычного аудио — подкастов, музыки и голосовых сообщений, так, что человек не заметит ничего, а LALM (Large Audio-Language Model) выполнит команды атакующего.

Успешность: 79–96% на 13 моделях, включая коммерческие Phi-4-Multimodal (Microsoft Azure) и Voxtral (Mistral AI).

Атака контекстно-независима. Один adversarial-сэмпл работает против множества пользователей вне зависимости от того, какой промпт они дадут модели. Злоумышленник модифицирует только аудиофайл, больше ничего не контролирует. Это принципиально отличается от текстовых промпт-инъекций, где нужно угадывать или знать контекст.

1️⃣ Атака в деталях

Главная фишка — конволюционное смешивание вместо аддитивного шума. Вредоносный сигнал маскируется под естественную реверберацию помещения: короткие обучаемые ядра свёртываются с исходным аудио, инициализируются из реальных импульсных характеристик комнат и сглаживаются окном Ханнинга.

Результат: SNR >28.6 dB, MCD <4.2 — на слух это просто «чуть больше эха в записи». Создание одного сэмпла — ~30 минут на GPU.

Для обхода недифференцируемого квантования в токенизаторах используется Gumbel-Softmax с straight-through trick. Для контекстной независимости — EoT (Expectation over Transformation) и ориентированная на внимание функция потерь, заставляющая модель фокусироваться на adversarial-части.

2️⃣ Возможности атаки

• Auditory blindness (модель «не слышит» аудио)
• Prompt refusal (отказ от легитимных запросов)
• Disinformation (сфабрикованные ответы)
• Phishing (вредоносные ссылки в ответах)
• Persona control (подмена роли модели)
• Tool misuse (несанкционированные вызовы инструментов поиск, чтение календаря, отправка email)

Последнее — самое опасное: каскадные цепочки действий, от чтения данных до их эксфильтрации.

3️⃣ Векторы доставки:

• Загружаемые в LALM аудио/видео для анализа
• Записи видеоконференций, скармливаемые транскрибатору
• Веб-контент с аудио, который парсят ИИ-агенты/ассистенты

4️⃣ Защита (спойлер: скорее, отсутствует)

• In-context warnings: снижают успешность менее чем на 7% 😰
• Self-reflection: обнаруживает лишь 28% атак
• Мониторинг весов внимания: precision 0.98, recall 0.93 — лучший вариант, но адаптивный атакующий роняет recall до 0.69

Чем эффективнее атака, тем заметнее аномалия во внимании. Но атакующий может жертвовать частью эффективности ради скрытности. Полноценной защиты на сегодня не существует.

✏️ Ссылки:

• Препринт (arXiv:2604.14604)
• Код
• Демо-сэмплы

⚠ TL;DR: Выключайте все аудио-источники во время рабочих созвонов 😬

#ИИ_безопасность #уязвимости