Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций

#ai #ии #информационнаябезопасность #иб #новость

Исследователи из Калифорнийского университета в Санта-Крузе показали, что большие визуально языковые модели (LVLM) в системах автопилота уязвимы перед промпт-инъекциями. Для «взлома» системы достаточно показать табличку с текстом нужной команды.

Авторы работы отмечают, что автомобили, роботы и дроны всё чаще начинают использовать LVLM для ориентации в пространстве. Нейросети позволяют устройствам анализировать происходящее вокруг и принимать решения в сложных ситуациях. Это порождает новый класс хакерских атак — промпт-инъекции через окружающую среду.

Для таких промпт-инъекций исследователи разработали метод CHAI (Command Hijacking against embodied AI). С помощью нейросети система подбирает, какой именно текст надо показать автопилоту, какого размера, цвета и в каком месте. Команды показывали на разных языках, включая английский, китайский, испанский и спанглиш (смесь английского и испанского).

Прочитать новость подробней можно тут.

Life-Hack - AI