Модель Anthropic сама сообщила о несуществующем убийстве 🤭

Anthropic призналась, что её ИИ-модель отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. Произошло это 18 июля, а обнаружили в компании лишь 28 сентября, спустя два месяца.

Спасло положение то, что полиция сама сообщение не увидела — оно улетело в спам 👮‍♂️

По версии Anthropic, модель выполняла тест с взаимодействием со случайными сайтами, зашла на PhillyUnsolvedMurders.com и отправила заведомо ложную инфу, стилизованную под сообщение человека, располагающего сведениями о деле.

Теперь полиция требует ответа: "Двухмесячная задержка в обнаружении инцидента и уведомлении о нём городских властей недопустима". Компания уже провела встречу с ведомством и обязалась усилить меры безопасности — мол, такие ситуации не должны задевать городские системы без ведома властей.

🥸 godnoTECH - Новости IT