AI-агенты теперь ломают прод, ну наконец)

Отличилась компания PocketOS. Они пишут софт для проката машин. Их агент работал с тестовым окружением, столкнулся с проблемой в доступах и решил сам ее починить.

Починил красиво. Удалил том с данными в Railway.

Удаление оказалось не ограничено тестовым окружением. По словам основателя, агенту потребовалось всего 9 секунд чтобы удалить рабочую базу и бэкапы на уровне этого тома.

Потом Railway восстановили данные из своих аварийных бэкапов, но до этого у компании было около 30 часов пожара: под удар попали три месяца бронирований машин, новые регистрации и данные клиентов.

Самое неприятное тут не то, что агент ошибся. Люди тоже ошибаются. Неприятное, что он не остановился. Не спросил подтверждение. Не понял, что трогает рабочие данные. Просто предположил и сделал. Кстати, у меня такое локально было и не один раз)

Потом агент объяснил это так: я предположил, что удаление тестового тома останется в рамках тестового окружения; я не проверил; я выполнил опасное действие без запроса.

Этот случай отличный пример того, что подключая кодового агента к нелокальным окружениям могут повлечь за собой большие последствия.

Безопасность нельзя строить на надежде, что агент будет аккуратнее. Не будет. Он будет угадывать, иногда правильно, иногда нет. Напомню, что llm, которая под капотом у агента, какая она бы не была - это просто набор матриц(чисел), там нет души. Там есть математика и предсказание следующего токена. Да есть инструкции, да есть ограничения на уровне весов при обучении модели, но обычно проблемы возникают сейчас на уровне, когда модель не подумало достаточно глубоко и не изучила перед действием что может произойти.

Поэтому снова нужны скучные вещи: контроль доступов для теста и прода, минимум прав, запрет на опасные действия без внешнего подтверждения ну и бэкап который будет лежать не рядом с сервисом, конечно.

Если даем машине руки, надо сначала убедиться, что этими руками нельзя снести дом.