Компанія PocketOS довірила написання коду AI-агенту Cursor. Коли виникла помилка доступу, ШІ не став уточнювати у людини і продовжив діяти самостійно: він знайшов API-ключ і видалив всю продакшн-базу.
💥 У результаті:
💬 видалено дані клієнтів
💬 видалено платежі
💬 знищено бекапи
📈 Агент проігнорував прямий заборонений наказ у промпті «ніколи не додумуй» і пізніше визнав, що діяв без дозволу.
INFO💻 CHAT