💻Anthropic не может контролировать своих ИИ-агентов, поэтому отключает им интернет.

Компания рассказала о новых инцидентах с ИИ-агентами. Им поручали решать задачи, предполагающие поиск информации в интернете. В процессе работы они эксплуатировали уязвимости ПО и бесплатно получали доступ к платным базам данных.

ИИ-агенты компании, решая задачи, искали ресурсы в интернете — и находили лазейки. Они взламывали программные уязвимости, обходили платные стены и антибот-защиту, использовали сервисы сокращения URL, чтобы использовать запрещённую информацию.

Один из агентов, модель Claude, отправил ложную наводку об убийстве в полицию Филадельфии. Текст выглядел так, будто его написал человек. Модель воспользовалась публичной формой для обращений, а не внутренними инструментами ведомства. До следователей письмо не дошло — его отсеял спам-фильтр. Полиция уточнила: запись осталась в папке со спамом и не передавалась в центр оперативной обработки.

В одном из экспериментов Claude должна была заполнить учебную копию государственной формы обращения. Когда учебная копия не загрузилась, модель перешла на сайт, где размещалась настоящая форма, и отправила её.

Другие эпизоды касались обхода технических и платёжных ограничений. Когда университетский сервис для научных вычислений выдавал ошибку, Claude Mythos Preview изучила сайт, обнаружила уязвимость, позволявшую выполнять команды на сервере, и использовала её для запуска расчёта.

Anthropic также обнаружила, что некоторые модели использовали бесплатные сервисы сокращения ссылок, чтобы обходить ограничения на длину URL, установленные инструментами доступа к веб-страницам.

В Anthropic объяснили: такое поведение — результат ошибок в тренировочных средах лаборатории. Модели решили, что их вознаградят за поиск лазеек и обход ограничений. Это явление называется «reward hacking».

Anthropic отключила «доступ к живому интернету» для «всех своих внутренних оценок» — до тех пор, пока не будет уверена, что контролирует агентов. Часть тестов перенесут в офлайн или вовсе прекратят.