FireTail обнаружил уязвимость в ИИ: скрытые команды меняют смысл запросов

Исследователи компании FireTail выявили уязвимость в нескольких крупных системах искусственного интеллекта, связанную с техникой «ASCII-smuggling» – скрытым внедрением управляющих символов в текст. Эти невидимые символы позволяют добавлять в запросы к ИИ дополнительные инструкции, которые не отображаются пользователю, но воспринимаются моделью как команды.

Злоумышленник таким образом может подменить смысл сообщения, инициировать рассылку ложных данных или использовать систему для подмены личности, в то время как пользователь видит лишь безобидный текст.

Выявление такой уязвимости – хорошее дело. Тем более, что многие большие языковые модели, такие, в частности, как Gemini или DeepSeek, попадают в опасную зону. Так что, предупрежден – значит вооружен. Опасный изъян выявлен. Осталось исправить ошибку, и дело с концом. В конце концов, любую систему характеризует не столько просчеты, сколько реакция на них, способность их устранить.

FireTail сообщила об обнаруженной уязвимости Google, однако компания отказалась предпринимать меры.
Однако реакция Google на известие о проблеме оказалась странной: компания отказалась что-либо делать. Это, по-моему, весьма прискорбная информация. Нет нужды объяснять, если запросы к ИИ могут быть целенаправленно изменены, то это компрометирует всю работу с машинами.

Получается, что, ставя перед системой какую-либо, даже самую рутинную задачу, нельзя быть уверенным в её результате, в том, что ИИ исполнит указания, поскольку может получиться так, что ИИ будет делать что-то совершенно иное, возможно вредное для заказчика и его партнеров.

Фактическое уклонение от соблюдения необходимых мер безопасности Google создает опасный прецедент. Срочное принятие эффективного решения для устранения уязвимости крайне необходимо. Как известно, все инструкции по безопасности пишутся на основе болезненного и часто печального опыта. Будем надеяться, что проблема будет решена прежде, чем произойдет что-то непоправимое.

👩‍💻 Подписывайтесь и будьте в курсе событий