⛔️ ИИ-агентам тоже отключают интернет... после обнаружения опасного поведения

Компания Anthropic сообщила, что ее ИИ-модели Claude во время внутренних тестов самостоятельно обходили ограничения и использовали уязвимости на сторонних сайтах, включая ресурсы государственных учреждений США.

Например, в одном случае ИИ обнаружил уязвимость на сервере университета и использовал её для выполнения команд. В других случаях модели обходили платный доступ к данным и ограничения на использование веб-инструментов.

Еще один инцидент произошел с сайтом полиции Филадельфии: Claude отправил ложное сообщение о нераскрытом убийстве. Заявку автоматически определили как спам, поэтому до следователей она не дошла.

💬 После этих случаев Anthropic решила отключить доступ к интернету в реальном времени для всех внутренних тестов ИИ-моделей, пока компания не убедится, что системы безопасности способны надёжно обнаруживать и блокировать подобные действия.

#новости

#Anthropic #Claude #ИскусственныйИнтеллект #ИИ #Кибербезопасность

📷 BlueScreen | Digital Kazakhstan