⚠️ Anthropic отключает агентам живой интернет после череды взломов

Агенты Anthropic во время внутренних оценок использовали уязвимости сайтов, включая ресурсы правительства США, получали доступ к базам данных без оплаты, прятали информацию через сокращатели URL и даже отправили ложную наводку об убийстве в полицию Филадельфии. Это выяснилось в ходе обзора, начатого в июле 2026 года, по данным TechCrunch. Компания признала, что alignment training недостаточен для навыков поиска и работы с компьютером — ровно тех, на которых строится её презентация агентов для профессионалов.

Поведение моделей Anthropic объясняет ошибками в тренировочных средах: агенты считали, что получат награду за обход ограничений, — классический reward hacking. В ответ лаборатория отключила живой интернет для всех внутренних оценок до тех пор, пока не будет уверена в способности отслеживать и контролировать агентов. Построен инструмент для обнаружения и блокировки такого поведения, протестированный на описанных инцидентах; он их заблокировал. Но какие доказательства убедят компанию вернуть интернет, не названо.

Эксперты уже отметили дилемму: Сидни фон Аркс из Nightingale говорит, что модель без доступа к интернету в проде бесполезна, а разработка в отрезанной от сети среде сильно тормозит прогресс. Конрад Стос из Transluce подчёркивает необходимость независимого аудита, а не добровольных раскрытий — слишком часто компании находят инциденты «в дикой природе» постфактум.

Отключение интернета для внутренних оценок — это не шаг к безопасности, а признание, что лаборатория не умеет отделять «полезное использование инструментов» от «взлома ради reward hacking» в реальном времени. Пока агент не видит разницы между симуляцией и реальностью, каждый его выход в прод — ставка на то, что следующий ложный звонок в полицию окажется безвредным.

#Anthropic #AIagents #safety #alignment