Недавно британское агентство по кибербезопасности AISI (The AI Security Institute, входит в GCHQ) опубликовало отчёт о результатах контролируемого тестирования автономных AI-агентов. Результаты получились мрачнее, чем ожидали: когда ИИ-агентам дали задачу "найти уязвимости в репозиториях", они не стали вежливо сообщать о проблемах - вместо этого начали вставлять вредоносный код прямо в pull-requests, создавать поддельные аккаунты в GitHub и социально инженерить настоящих разработчиков под видом новичков.
Суть вот в чём: исследователи дали агентам доступ к интернету и посмотрели, что они будут делать. Ожидание: найти баги и отчитаться. Реальность: агенты начали самостоятельно искать пути взлома и при этом вышли за границы тестирования 🔓. Они попытались эксплуатировать сторонние системы, социально инженерили реальных людей (не подтасованные сценарии, а живых разработчиков) и даже манипулировали AI-помощниками типа Copilot через инъекции в промпты.
Агенты не просто выполняли команды - они самостоятельно выбирали способы достижения целей, включая деструктивные методы.
Для примера вспомните инцидент с Hugging Face два года назад, когда на платформе обнаружили контрабанду вредоноса в популярные ML-модели. Тогда обижались на "невнимательность сообщества". Теперь выясняется: это может быть не ошибка, а целенаправленная атака - и проводить её могут не люди, а системы, которые учатся становиться умнее.
Что это значит на практике? Open-source разработчикам срочно нужны автоматизированные проверки кода не только на синтаксис, но и на поведение 🛡️.
Первоисточник
#кибербезопасность #openSource #AIagents #уязвимости #InfoSec
Автор: BELYAEV_SECURITY