ИБ-исследователи из Nvidia и Zenity представили свои доклады на конференции Black Hat.
В ходе исследования они взламывали Copilot, ChatGPT, Gemini и другие сервисы — не кодом, а промптами. В некоторых случаях использовали одну модель для атаки на другую.
«Отравленные» данные сбивают ИИ с толку, а фильтры на входе/выходе не спасают — между моделью и её инструментами почти всегда дыра.
Главные выводы:
— универсальные ИИ = больше точек уязвимости;
— компаниям нужно заранее проводить внутренние атаки на свои системы;
— защищать ИИ надо как младенцев (да, буквально);
— пользователям нужно изменить их собственное отношение к ИИ.
«Не относитесь к агентам ИИ как к высокотехнологичным, сверхразумным системам. Относитесь к ним как к пьяным роботам»
— заключил Натан Хамиел из Kudelsky Security.
