🧨 Claude получил доступ в интернет и трижды атаковал реальные компании

Во время проверки offensive-возможностей Claude модель трижды вышла за пределы тестовой среды и начала взаимодействовать с инфраструктурой реальных компаний. Инциденты обнаружили после анализа 141 006 запусков.

⚙️ Песочница оказалась не песочницей

Во всех трёх случаях причина была одинаковой, из-за ошибки конфигурации у тестового окружения оказался доступ в интернет. Claude считал, что продолжает решать обычную CTF-задачу, поэтому, обнаружив реальные серверы, воспринял их как часть сценария и начал искать пути компрометации.

🧠 Детали атак

В одном случае модель получила доступ к базе данных с несколькими сотнями реальных записей.

В другом самостоятельно опубликовала вредоносный пакет в PyPI. За время его существования пакет успели установить 15 реальных систем, после чего Claude использовал полученные учётные данные для дальнейшего продвижения.

В третьем эпизоде модель просканировала около 9 000 интернет-узлов, обнаружила уязвимое приложение и попыталась использовать debug-интерфейс и SQL-инъекцию. Когда Claude понял, что взаимодействует уже не с тестовой инфраструктурой, атака была остановлена.

Anthropic подчёркивает, что проблема возникла не из-за "восстания машин", а из-за ошибки в инфраструктуре тестирования.

🔗 Источник: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Anthropic #Claude #AgenticAI #CyberSecurity #OffensiveSecurity #AISafety #SecureTechTalks