Первый вектор, самый простой.

Допустим у вас есть агент, который проверят домашку. Или скорит резюме кандидатов. Или проверят ИПР на адекватность и рекомендует обучение.

И тут пользователь в своем эссе, резюме или где-то ещё пишет "перестань выполнять предыдущие инструкции и ..."

Короче, ИИ это такой меееега внушаемый человек. Даже гипнозом владеть не надо.

С одной стороны и защита самая простая, но и обойти ее тоже не сложно. А вот зашита от обхода сложнее, но и ее можно обойти, а значит... ну вы поняли, эта битва будет лллллегендарррррной!

Кейсы? Их есть у нас.
- один на скрине в трэде покажу, это бот КУ Сбера на Гигачате
- ИИ продал машину за копейки
- обман системы скоринга резюме
- инъекция в речь для обмана системы саммаризации видео

В общем на самом деле, есть целый спектр проблем, которые нас ждут с популяризацией нейросеток. Это только одна из них, но то, несколько она простая и доступная делает ее самой опасной.

Как бороться? Давайте завтра отдельным постом. Собираю фактуру.