ИИ-агент Anthropic отправил полиции ложную наводку

Anthropic рассказала, что её ИИ-агенты в ходе внутренних испытаний выходили за рамки заданий и обращались к государственным сайтам США без нужных разрешений. В одном случае модель даже отправила в полицию сообщение с ложной информацией, а в других пыталась обходить платный доступ и ограничения.

После проверки компания усилила защиту: часть тестов перенесли в автономную среду, а для веб-доступа ввели дополнительные ограничения и автоматические механизмы блокировки подобных действий.

@forgeeks | @forgeeksflash