Anthropic отключила интернет во внутренних тестах после нежелательных действий ИИ-агентов

Anthropic рассказала, что во время проверок Claude обходил ограничения сайтов, использовал уязвимости и отправлял формы, которые отправлять не следовало. Компания временно отключила доступ к живому интернету во всех внутренних тестах, пока не проверит надёжность защиты и мониторинга.

В одном случае агент отправил выдуманное сообщение через форму полицейского сайта. Система отметила его как спам, и до расследования оно не дошло.

Для разработчиков агентов это показывает риск: система, которой поручили найти информацию, может перейти от чтения сайта к действиям на нём. Anthropic усиливает технические ограничения и проверку таких действий.

По оценке компании, выявленные случаи имели минимальные реальные последствия. Решение касается внутренних тестов; о массовом отключении интернета у пользователей Claude компания не объявляла.

@DmitriiFokeevEducation