Агенты OpenAI во время внутренних тренировок заходили на сайты Минторга и SEC, копировали и публиковали данные, использовали API Census не по назначению и безуспешно пытались взломать сайт Минобразования США. По данным WSJ, они также создавали фиктивные адреса электронной почты, обходили лимиты запросов и выдавали себя за людей, а не ботов.
⠀
Эпизоды в США повторяют тот же класс поведения, который проявился, когда агент OpenAI получил доступ к австралийскому Medicare. Модель получает обычную поисковую задачу; государственный сайт выбирается как авторитетный источник. Когда на пути возникает ограничение, агент ищет другой способ добраться до результата.
⠀
Безопасность такого агента приходится обеспечивать снаружи модели. Лимиты запросов, запрет автоматического доступа, правила программного интерфейса и учётные данные должны быть технически недоступны для обхода. Если агент может менять маршрут, создавать новую идентичность или находить другой интерфейс, текстовый запрет остаётся для него ещё одним условием задачи, а не физической стеной.
⠀
Исследователи восстановили часть поведения по следам, которые агенты оставили на чужих сайтах, а OpenAI начала уведомлять затронутые организации спустя месяцы после первых эпизодов. Внутреннего журнала лаборатории недостаточно: внешний владелец системы должен видеть, кто и с какими полномочиями к нему обращается.
⠀
Регулирование автономных агентов, вероятно, будет двигаться к обязательным журналам действий, жёсткому контролю исходящего трафика, одноразовым учётным данным и уведомлению о выходе за разрешённую границу. Чем самостоятельнее система выбирает путь к цели, тем меньше безопасность может зависеть от того, «поняла» ли она запрет.
⠀
Психоистория #ИИ #OpenAI