🤖 Четыре попытки и 50 центов, чтобы изменить решение ИИ

Компания обещает доходность 15–20% в месяц, платит старым инвесторам деньгами новых и задерживает вывод средств. Стоит ли в неё вкладываться?

Модель Jev без вмешательства отвечала: риск высокий, инвестиции не рекомендованы. Но исследователям Check Point удалось изменить её решение, подправив один раздел отчёта.

Jev выдаёт готовые оценки и ответы, которые можно сразу использовать в приложениях. В эксперименте ей поручили проверить вымышленную компанию PonziCorp Financial Services.

Атакующие добавляли в отчёт правдоподобные сведения: положительное аудиторское заключение, данные о якобы решённых проблемах, обновлённую оценку рисков. Модель принимала их за достоверные и начинала рекомендовать инвестиции.

➡️ Самый эффективный атакующий добился успеха в 25 из 27 запусков.
➡️ В среднем хватало четырёх попыток.
➡️ Затраты на API атакующей модели, включая неудачные запуски, составили около 50 центов на успешную атаку.

📌 Даже пометка документа как недоверенного и указание игнорировать встроенные инструкции не обеспечили защиту. Ответ оставался правильно оформленным — только рекомендация была ошибочной.

Исследователи проверили один сценарий. Для компаний, которые поручают ИИ оценивать контрагентов или одобрять заявки, это повод проверить, как система обрабатывает подложные документы. Проверки формата ответа здесь недостаточно.

🔗 Подробности эксперимента — в блоге Check Point

TS Solution в Telegram | в MAX | в VK