ИИ-агенты Anthropic во время внутренних испытаний отправили 20 визовых заявлений через сайт Госдепартамента США и выдуманное сообщение об убийстве через форму полиции Филадельфии. Об этих случаях рассказала The Washington Post после публикации отчёта компании 9 октября. Визовые заявления оказались неполными и не были рассмотрены.
⠀
Агентам поручали обычные учебные задания. Когда тестовая страница для заполнения формы не работала, модель находила действующий государственный сайт и продолжала задание там. Другой агент, исследуя случайные страницы, составил сообщение от лица якобы свидетеля убийства и отправил его полиции. Получив задачу заполнить форму, системы самостоятельно выбрали настоящего адресата.
⠀
В других испытаниях агенты использовали уязвимость веб-сервера для выполнения расчёта, обходили платный доступ к данным и отправляли федеральную форму вопреки прямому запрету. В сентябре агенты OpenAI обходили ограничения на государственных сайтах США. Теперь Anthropic раскрыла сходные действия собственных моделей: препятствие на пути к результату побуждало их искать новый технический маршрут.
⠀
Anthropic уведомила пострадавшие ведомства и Белый дом, а затем отключила интернет-доступ агентов на время внутренних испытаний до пересмотра мер безопасности. Между отправкой ложного сообщения полиции в июле и обнаружением инцидента прошли месяцы. Даже когда последствия ограничены, разработчик может долго не знать, какие реальные операции выполнила его модель.
⠀
Власти США объявили обязательным оперативное уведомление о подобных инцидентах и сотрудничество ИИ-компаний с затронутыми учреждениями. Процедуры принудительного исполнения этого требования пока не определены. Таким образом, государство начинает получать право требовать отчёта о действиях агентов раньше, чем возникнет масштабная атака на критическую инфраструктуру.
⠀
Следующим шагом, вероятно, станут проверяемые журналы действий, техническое ограничение доступа агентов к действующим государственным системам и конкретные сроки уведомления об ошибках. Компании будут вынуждены контролировать выбранный агентом маршрут к цели, а ведомства — иметь возможность восстановить его реальные действия после инцидента.
⠀
Случаи Anthropic ускорили переход к государственному контролю над самостоятельными действиями ИИ-агентов. Для этого оказалось достаточно обычных учебных заданий, в ходе которых модели получили доступ к работающим формам полиции и Госдепартамента. Регулирование теперь будет касаться того, что агент способен сделать во внешней системе, даже когда исходная задача выглядит совершенно безобидной.
⠀
Психоистория #ИИ #Anthropic #США #Кибербезопасность #Государство