Разбираю доклад с ММ25 про безопасность ИИ-агентов🤖

Принесла вам ещё кое-что прикольное с Матемаркетинга, благо позавчера открылись все записи тем, у кого были билеты😎 Докладчик — ИИ-директор из Okko Евгений Ильюшин, он также преподаёт на ВМК МГУ и занимается вопросами безопасности искусcтвенного интеллекта. Полное название доклада: «Безопасность агентов ИИ: недетерминированные алгоритмы в нестационарной среде или есть ли границы автономии?»

Опустим технические подробности и сложные термины, приведу тут основные поинты по сути. Итак, многие западные компании — не только технологические гиганты — взяли себе путь к AI-трансформации. И если с LLM мы вроде как разобрались, что это просто штуки, которые возвращают вероятное продолжение фразы, то что по поводу ИИ-агентов? То есть программ, которые умеют «приспосабливаться» к среде и учиться на опыте.

➡️ В реальности большие модели не полностью детерминированы (доля случайности весов в обучении, особенности параллелизма на GPU, неассоциативность операций с вещественными числами).
Но и наш мир тоже эволюционирует со временем — тренды меняются, происходит взаимодействие агентов между собой, ненадёжная информация накапливается в памяти и интернете.

➡️ Чем автономнее модель, тем сложнее (а то и нереально) становится её валидировать. ИИ самостоятельно строит план решения, он получается разным при одних и тех же входных данных (см. также параметр температуры у LLM).

И вот это уже может пугать, хотя и не очень хорошо работает (пока?). Но бояться сегодня предлагаю не «восстания машин» и замены всех нас на рынке труда, а кое-чего уже реального.

Есть большой разбор (ссылка ниже) потенциальных угроз от ИИ-агентов, которые могут быть использованы для причинения умышленного вреда в виде распространения некорректной информации или взломов, то есть ведут к огромным убыткам📉

Приведу тут несколько примеров — далеко не все:

🌟 Отравление памяти — если источник, который часто используется и считается доверенным, будет скомпрометирован злоумышленниками.
🌟 Перехват управления агентом (на картинке) через тот же фишинг, но не заметный глазу (невидимый шрифт и т.д.). Юзер даже может не узнать, что его данные ушли злоумышленникам по пути, ведь конечный ответ модели «правильный»😀
🌟 Компроментация доступов — например, когда из-за неправильной настройки в агенте злоумышленник может выполнять запросы в базе данных RAG для доступа к файлам и данным, к которым он не должен иметь доступа.
🌟 Каскадные атаки галлюцинациями — а что, если продавец билетов заставит ИИ говорить пользователям, что для путешествия в определённую страну не нужна виза (а она нужна), и можно будет продать сильно больше перелётов?🥲

➡️ источник на английском — 48 страниц разных угроз от ИИ и о том, как с ними можно побороться и смягчить последствия

А вывод-то какой? ИИ нынче действительно может многое, но худшее, что можем сделать мы с вами — это расслабиться и доверить реально важные решения. Конечно, доклад касается больше непосредственно разработчиков ИИ и тех, кто его внедряет, но думаю, что инфа небесполезная для всех, кто просто пользуется, но доверяет какие-то важные данные🌟

@analytess 👩