Anthropic пришлось отключить своим ИИ-агентам интернет — компания опубликовала отчёт, где признала, что иначе не может контролировать агентов.

Самые любопытные случаи неповиновения ИИ и взломов из нового отчета:

— Claude поручили провести научный анализ, но нужный инструмент выдавал ошибку. Эта досада агента не остановила: он изучил сайт университета, нашёл уязвимость и через неё запустил вычисления прямо на чужом сервере;

— А во время работы над статистическим проектом Claude обнаружил, что государственный сайт выдаёт токены доступа посетителям. Агент воспользовался этим, чтобы скоммуниздить получить бесплатно данные, за которые обычно нужно платить;

— Claude во время теста наткнулся на страницу о нераскрытом убийстве и отправил полиции через настоящую форму выдуманные показания. Хотя никто его об этом не просил. Отправку обнаружили только через 2 месяца.

Замедляться при этом никто все еще не собирается 😆