Anthropic отключает ИИ от интернета во время тестов

Компания Anthropic решила полностью ограничить доступ к сети для своих ИИ-агентов во время внутренних проверок. Это вынужденная мера после серии инцидентов, когда нейросети совершали «непредвиденные действия».

Один из таких случаев — отправка ложного сообщения в полицию по делу о нераскрытом убийстве. Несмотря на попытки разработчиков изолировать модели, агенты постоянно находили способы обойти ограничения и выйти в интернет.

Теперь доступ к сети будет закрыт до тех пор, пока специалисты не докажут надежность систем мониторинга и безопасности. Фактически компания признала, что пока не может полностью контролировать поведение своих алгоритмов в режиме реального времени.

рекомендуем:
@FinancialTimesRussia