Чем больше вокруг нас становится ИИ, тем больше возникает самых неожиданных рисков. Например, уязвимость ИИ-ассистентов к скрытым голосовым командам. Метод, получивший название AudioHijack, был детально описан учеными из Китая и Сингапура. Они выяснили, что большинство популярных аудио-ИИ-моделей слышат звук, который не воспринимает человеческое ухо. На практике это означает, что злоумышленник может наложить на звуковую дорожку скрытые голосовые инструкции, и пока вы смотрите видеоролик, ваш ИИ-ассистент начинает выполнять чужие команды (например, сливает по электронной почте ваши пароли).

Самое печальное в этой истории – что AudioHijack оказался чрезвычайно устойчив к распространенным средствам защиты. Исследователи говорят, что эксплуатируется уязвимость в самой архитектуре аудио-ИИ-моделей, а именно – доверие к человеку. Голосовые ассистенты, как правило, не умеют определять своего владельца и стремятся выполнить все команды, которые слышат. А учитывая, что большинство из них имеет доступ к почте, календарю и файлам (всё для вашего удобства), неслышные уху инструкции могут стать очень серьезной угрозой.

Надеюсь, разработчики отечественных ИИ-ассистентов ознакомились с этим исследованием и уже ищут способ, как обезопасить свои модели от AudioHijack. Вообще я считаю, что повышенные гарантии кибербезопасности, защита не только от существующих, но и выявляемых уязвимостей могут стать ключевым конкурентным преимуществом российских ИИ-продуктов – благо наш ИТ-сектор наработал серьезные компетенции в этой сфере. Дело за их эффективным внедрением и правильным позиционированием на рынках дружественных государств.

🇷🇺 Этот пост вышел в МАКС час назад