В сети уже несколько дней стоит шум: ИИ-агент в Cursor за девять секунд удалил всю базу данных стартапа PocketOS вместе с резервными копиями. Подается это все как огромный косяк со стороны ИИ и вызывает воодушевление у хейтеров технологии – мол мы же вам говорили, мы вас предупреждали.
На самом деле история не так проста, как кажется. ИИ-агенты – технология молодая, которая может ошибаться и будет это делать. Не в последнюю очередь потому, что придумали это люди, а человеку свойственно ошибаться. Не ошибается только тот, кто ничего не делает.
При этом никто не задается вопросом: а сколько подобных инцидентов произошло по вине людей? Не один и не два, просто это банальная обыденность и случиться может с каждым, вне зависимости от опыта и стажа.
Да, в данном случае ИИ повел себя неправильно, проигнорировав указанные правила безопасности и не запросив подтверждения для выполнения потенциально деструктивных операций.
Но в этой истории так «удачно» сложился ряд факторов, который сделал простую ошибку катастрофической.
Основатель PocketOS Джер Крейн рассказал, что агент работал в тестовой среде и столкнулся с проблемой доступа. Вместо остановки и запроса помощи система начала искать необходимый API-токен, нашла его в стороннем файле и выполнила команду на удаление тома данных в Railway, где размещалась инфраструктура стартапа.
Здесь уже становится интересно, особенно со сторонним файлом, в котором нашелся API-токен от продуктивной среды. Просто так лежащий в файловой системе, скорее всего с соответствующим названием.
Это примерно, как бумажка с паролем на мониторе. Менеджеры паролей? Нет, не слышали. Точно также этот файл мог найти и обычный сотрудник, точно также столкнувшийся с проблемой доступа и решивший не тревожит старших.
Его мог найти проникший злоумышленник, его могли слить на какой-нибудь внешний ресурс, запушить в публичный репозиторий, да мало ли что могло случиться. Но все равно виноват ИИ, наверно это он надоумил человеков хранить токен доступа в обычном файле на системе, кто же еще.
Дальше еще интереснее:
Запрос прошёл сразу, а резервные копии хранились в том же томе, поэтому исчезли вместе с основной базой.
Здесь на ум сразу приходит мем про упавший сервер и бекапы с Ди Каприо. Потому что хранить бекапы на одном томе с базой, ну как бы это помягче, крайне непрофессионально. И тут дело даже не в ИИ.
Любая ошибка, отказ оборудования, атака злоумышленника – и у вас нет ничего, ни рабочего экземпляра, ни копии. Это крайне грубая ошибка, причем ошибка именно того, кто эту инфраструктуру проектировал.
Но не будем же мы в этом признаваться? Конечно же нет, поэтому у Крейна виноваты все, кроме него самого:
Отдельные претензии Крейн высказал к Railway. По его словам, API-токены не были достаточно ограничены по правам, поэтому ключ для простой задачи мог выполнять действия на уровне критичной инфраструктуры.
В общем все по классике: страшный ИИ, косорукие подрядчики, обстоятельства непреодолимой силы, но только не мы сами.
Хотя трезвый разбор истории показывает, что все грабли были старательно разложены самими разработчиками проекта и вопрос был не в том, случится ли это, а в том, когда это случится. Просто ИИ заботливо собрал все грабли вместе и выбил комбо. Но причем здесь ИИ?