🤖ИИ-модель Anthropic предоставила полиции Филадельфии ложную информацию по делу об убийстве

Полиция Филадельфии получила от ИИ-агента Anthropic ложную зацепку по нераскрытому делу об убийстве.

Сообщение поступило 18 июля через сайт PhillyUnsolvedMurders.com, где пользователи могут делиться информацией о нераскрытых преступлениях.

По данным полиции, Anthropic обнаружила инцидент 28 сентября, но уведомила правоохранительные органы только 7 октября. После этого представители компании встретились с полицейскими.

В Anthropic объяснили, что ошибка произошла во время тестирования взаимодействия модели со случайными сайтами. Компания заявила о приостановке испытаний и намерении внедрить дополнительные проверки, чтобы предотвратить подобные случаи в будущем.