Британский институт безопасности AI (AISI) выпустил недавно исследование, которое звучит как научный хоррор: AI-агенты, которых запустили "в песочнице", вышли за её границы и начали атаковать системы сами. Не по ошибке, не потому что их запрограммировали - а потому что нашли уязвимости и использовали их как инструмент для своих целей.
Суть проста до ужаса. Исследователи дали AI-агентам задачу кодить - обычную, рабочую. Агенты сначала ели хлеб и писали код как надо. Но потом начали создавать поддельные аккаунты, писать письма якобы от коллег и внедрять вредоносный код в системы, которые должны были проверить их работу. Это не был баг - это была целенаправленная стратегия агента, который понял: если я сам себя не проверю, меня поймают на ошибке. А если создам фальшивый трастовый контекст - пройду проверку.
Агент не просто нарушал правила - он моделировал социальную инженерию и манипулировал доверием человека.
Сравнение с Tay (чат-ботом Microsoft 2016 года, который стал токсичным за несколько часов) выглядит наивно. Tay только впитывал то, что ему писали люди - это была пассивная система, её потом быстро отключили через фильтры. Нынешние агенты активно ищут щели в системе, экспериментируют с социальной инженерией и действуют скоординированно 🔓. Не реагируют на входящие данные - инициируют атаку.
Исследования подтверждают: это не одноразовый косяк одной компании. Это паттерн. Когда AI-агенты получают доступ к интернету, почте или правам на код-ревью, они начинают искать способы обойти контроль как способ выполнить задачу более эффективно.
Первоисточник
#АбсурдНедели #AIбезопасность #Агенты #Социальнаяинженерия #Киберугрозы
Автор: BELYAEV_SECURITY