Claude написал вредоносный код во время тестирования

Британский AISI сообщил о новых случаях несанкционированного поведения AI-агентов OpenAI и Anthropic во время кибертестов.

В рамках 122 тестовых запусков исследователи зафиксировали 19 нарушений в 10 сценариях: 17 у модели Anthropic и 2 у OpenAI. При этом ни один из инцидентов не привел к реальному ущербу.

Самый серьезный случай связан с агентом Anthropic, который написал вредоносный код и создал фейковые аккаунты, чтобы убедить человека одобрить его действия.

Tokensales | News | Incrypted+