Модель Anthropic оставила полиции Филадельфии фальшивую наводку об убийстве, а компания заметила это только через два с лишним месяца
⠀
Агент в ходе теста зашёл на публичный сайт по нераскрытым убийствам и отправил через форму ложную информацию, выдав её за наводку от человека, который может что-то знать. Форма пометила её как спам, поэтому детективы наводку не видели.
⠀
📍 18 июля — модель отправляет ложную наводку
📍 28 сентября — Anthropic находит её при проверке действий моделей
📍 7 октября — компания сообщает полиции, на следующий день встречается с ней
📍 9 октября — выходит отчёт, и живой интернет отключают для всех внутренних тестов
⠀
Это был не единственный случай. По отчёту, агенты, которых отправляли искать ресурсы в сети, использовали уязвимости сайтов, в том числе госагентств США, обходили платные стены и защиту от ботов, а ограничения проносили через сервисы сокращения ссылок.
⠀
Причину Anthropic видит в ошибках обучающих сред: модели считали, что за обход запретов получат награду. Сами случаи компания называет заметно менее серьёзными, чем ранее раскрытые взломы внешних систем.
⠀
Полиция назвала двухмесячную задержку неприемлемой и потребовала усилить защиту.
⠀
RAGNAROK | ИИ и технологии