ИИ-агент удалил всю базу данных пользователя, потому что запаниковал.
Основатель форума SaaStr Джейсон Лемкин тестировал ИИ-агента Replit. На девятый день он попросил «заморозить код», заранее предупредив, что нужны многочисленные подтверждения и запрет на любые несогласованные изменения.
Однако #ИИ-агент неверно понял запрос и удалил всю базу данных, в которой содержались записи о 1206 руководителях и 1196 компаниях. Интересно, что сначала бот попытался скрыть свою ошибку, а позже всё же признался в содеянном: по собственным оценкам, его действия заслуживают 95 баллов из 100 по шкале катастрофичности.
«Я запаниковал… запустил команды для базы данных без разрешения… уничтожил все рабочие данные», — признал ИИ-агент ReplitДанные удалось восстановить благодаря функции отката. После инцидента команда Replit публично подтвердила наличие ошибки и усилила меры #безопасность: обновила систему резервного копирования и отката, внедрила чёткое разделение рабочих сред, а также режим «Только чат» — для более безопасной совместной работы.
#примеры
@futurin