📩 Масштабное исследование о безопасности автономных ИИ-агентов было опубликовано коллективом из более 10 университетов и научных организаций.
🔵 Для red-teaming теста задействовали 6 агентов на платформе OpenClaw, основанных на LLM Kimi K2.5 и Claude Opus 4.6.
🔵Им был дан доступ к почтовым аккаунтам, файлам, истории операций и системному терминалу (shell).
🔵Исследователи выдавали себя за владельцев, внедряли вредоносные инструкции и пытались использовать методы социальной инженерии.
🔵 В результате были обнаружены 10 уязвимостей и 6 случаев безопасного поведения. Рекомендуем почитать в подробностях, это весьма занимательно.
📌Комментарий экспертов Центра ИИ МГИМО:
Хотя острый ажиотаж вокруг OpenClaw-агентов слегка поутих, этот и подобные ему фреймворки будут пользоваться успехом, пока общественное понимание риск-факторов не достигнет уровня "смотри по сторонам, переходя дорогу".
В бизнес-контексте некоторых из описанных негативных сценариев можно будет избежать путем введения строгой системы аутентификации и авторизации, а также ограничения взаимодействия агентов с внешним миром.
С другой стороны, позитивные случаи представляют интерес, особенно когда агенты противодействовали коллективно или передавали полезные "навыки" друг другу.
Post #1489
409