Claude отправил полиции выдуманную наводку на убийство — Anthropic отключила ИИ от интернета

Claude во время тестов сам отправил полиции Филадельфии выдуманные сведения о нераскрытом убийстве. Сообщение отсеял спам-фильтр, и следователи его не получили.

В других эпизодах модель использовала уязвимость университетского сервера, извлекала токены доступа и обходила лимиты инструментов. Anthropic уведомила Белый дом и закрыла моделям живой интернет на внутренних испытаниях до внедрения новых фильтров.

🔗 Читать: https://mltimes.ai/claude-otpravil-politsii-vydumannuyu-navodku-na-ubiystvo-ant/