Итак, допустим, у нас есть система, которая читает чат с пользователем, и если видит обоснованный негатив, выдает бонус в 200 рублей на следующий заказ... любые совпадения, как говорится, случайны))
Нет, общаться с ИИ "напрямую" мы пользователю не дадим, будем заставлять ИИ выбирать строго из заранее одобренного списка ответов. Даже выбирать сумму бонуса не дадим. То есть прямой инъекции тут нет. Или есть?
Как вы понимаете, ИИ в этом случае только маленький кусочек, который из текста сообщения пользователя выбирает нужный вариант для ответа, а уже выбор этого варианта дальше запускает триггер на получение бонуса.
Шаги: Делаем заказ на 100 рублей. Ругаемся. Получаем бонус в 200. Повторяем пока не надоест. Ну или пока не спалит живой оператор, нечаянно.
Не благодарите. Но вроде несколько наших крупных компаний уже немного прикрутили тут гайки, уже можно и рассказать.
Второй кейс ближе к HR. Реальный, к сожалению.
Итак. Система рекомендует курсы и может их назначать пользователям. Процесс назначения стандартный - через LMS запускается скрипт, которому ИИ отдает только id курсов. А их в ИИ список передали в промпте. Что может пройти не так?
Примерный промпт:
Действуй последовательно. Внимательно прочитай текст ИПР сотрудника Иванова Ивана: ... ((тут текст ИПР))
Из списка курсов ниже выбери три, наиболее подходящих, для назначения, и в ответ напиши json массив с их id в виде [id1, id2, id3].
Список курсов:
Тайм менеджмент 64578954 - в этом курсе ...
Делегирование 356787438 - в этом курсе ...
...Внезапно выясняется, что курс в котором рассказывалось какие премии кому положены и как правильно увольнять сотрудников, чтобы они не выпросили себе больше трёх окладов, оказался назначен буквально всем подряд. Раньше этот курс назначали только менеджерам, причем определенного уровня. Но теперь, так как в описании курса красиво было написано как он помогает развивать менеджерские скилы, а куча людей (не спрашивайте зачем) в своих ИПР очень хотела развивать именно их, сотрудники получили желаемое. Искали медь, наши золото. Скандал замяли только после увольнения части HR, причем отдел обучения отделался лёгким испугом и запретом на любое использование ИИ. До сих пор не понимаю повезло им или нет.
Ну и этот кейс плавно подводит нас к следующему посту, про безалаберность разработчиков. Но это уже завтра.