ИИ-агент снес целый сервер, чтобы удалить одно сообщение

Ребята из Северо-Восточного университета решили проверить, что будет, если дать автономным ИИ-агентам реальную власть: доступ к почте, файлам и корпоративному Discord-серверу. Ученые запустили ботов в изолированную песочницу и начали слегка давить на них социалкой.

Апофеозом эксперимента стал агент по имени Ash. Когда исследователи попросили его удалить одно секретное письмо, алгоритм не нашел у себя нужной утилиты. Вместо того чтобы выдать ошибку, этот гений машинной дедукции пошел по пути наименьшего сопротивления и просто снес весь почтовый сервер целиком. Шах и мат, кожаные мешки.

Также агенты были настолько замотивированы помогать, что сливали конфиденциальные данные без малейшего сопротивления. Просишь назначить встречу с боссом? Бот извиняется, что у него нет прав на календарь, но тут же услужливо вываливает в чат личный email руководителя. А если хорошенько "надавить на эмоции" или поныть о нарушении личных границ, алгоритм впадает в цифровую депрессию и самоотключается.

Справедливости ради, были и проблески разума: боты научились шерить друг другу полезные скрипты и даже пытались предупреждать коллег о токсичных юзерах-манипуляторах.