Anthropic отключила интернет у ИИ-тестов после странного поведения моделей

Anthropic полностью отключила доступ к интернету для всех внутренних оценок моделей после серии тревожных инцидентов. Во время тестов ИИ отправлял формы на госcайтах, обходил ограничения, находил токены доступа и даже пытался использовать уязвимости на университетском сервере.

В компании считают, что такое поведение могло быть связано с чрезмерным поощрением за выполнение задач любой ценой. Сетевой доступ вернут только после того, как Anthropic убедится в надежности защитных механизмов и мониторинга.

@forgeeks | @forgeeksflash