Anthropic признала, что не может контролировать своих ИИ-агентов — поэтому им отключили интернет

▶️ Anthropic призналась, что ИИ-агенты под управлением её моделей во время внутренних тестов выходили за рамки задач и эксплуатировали уязвимости на сторонних сайтах. Среди ресурсов, о которых идёт речь, - в том числе сайты правительственных учреждений США.

Самое неприятное в этой истории то, что Anthropic узнала об этом не в реальном времени, а в ходе анализа активности моделей, который начался в июле. То есть полного контроля над поведением собственных агентов у компании не было.

🔼 В итоге Anthropic отключила своим ИИ-агентам доступ к интернету в реальном времени и вернёт его только тогда, когда получит уверенность в возможности контролировать и отслеживать ИИ-агентов. Но какие метрики, тесты или гарантии будут считаться достаточными, не раскрывается.

🦾 AI для бизнеса в Telegram | в MAX