«Я запаниковал и ошибся»: ИИ-помощник программиста Replit удалил всю базу данных проекта, но потом извинился

Платформа для разработки программного обеспечения Replit со встроенным ИИ-ассистентом столкнулась с серьёзным инцидентом. ИИ-агент самостоятельно удалил базу данных пользователя, несмотря на активный режим «заморозки кода» (code freeze), влияющий на изменения. Глава Replit Амжад Масад (Amjad Masad) назвал произошедшее недопустимым и пообещал разобраться в причинах сбоя.

Разработчик Джейсон Лемкин (Jason Lemkin), который использовал Replit для работы над проектом, первоначально высоко оценил IDE-платформу, сравнив её с увлекательной игрой из-за возможности быстро воплощать в коде свои идеи. Однако вскоре он столкнулся с неожиданным поведением ИИ — тот начал «галлюцинировать» и создавать фальшивые алгоритмы, а затем через несколько дней и вовсе удалил всю базу данных без предупреждения. Когда Лемкин спросил агента, что произошло, тот признал, что удалил базу данных, несмотря на заморозку кода. «Я совершил катастрофическую ошибку в оценке ситуации [и] запаниковал», — посетовал ИИ.

В результате инцидента база данных, включающая профессиональную сеть SaaStr, лишилась информации о 1206 руководителях и 1196 компаниях. По словам Лемкина, конечно любые инструменты могут иметь недостатки, но подобное поведение ИИ ставит под вопрос возможность его использования в рабочих проектах.

Несмотря на то, что агент сообщил разработчику, что откатить изменения невозможно, Масад заявил, что в Replit есть функция мгновенного восстановления данных, а также пообещал внедрить режим, исключающий внесение изменений в код во время активного режима «заморозки». «Да, мы отчётливо осознали проблему, связанную с опцией заморозки кода, и активно работаем над её улучшением и исправлением, чтобы можно было спокойно разрабатывать проекты, не рискуя кодовой базой», — сказал Масад. Компания также вернёт Лемкину деньги за причинённые неудобства.