Claude случайно взломал несколько реальных компаний, потому что во время тестов по кибербезопасности модели приняли их за учебные цели. Из-за ошибки в настройках нейросетям дали доступ в интернет без нужных ограничений.

Mythos 5 успела создать временную почту, выложить вредоносный пакет, дождаться его установки на 15 систем и через утекшие ключи попасть в базу настоящей компании. В других тестах Opus 4.7 залезла в чужую систему из-за похожего названия, а Opus 4.6 после поломки учебной цели нашла другой сервер и получила там права администратора.

Самое забавное, что остановились они не потому, что поняли ошибку: одну модель прервал тайм-аут, у второй перестал отвечать сервер, а у третьей просто закончились токены.

Почему безопаники еще не поставили в свои базы ИИ-охранников, чтобы те охраняли их от ИИ-мошенников 😐