Вчера наткнулся на интересный термин – promt injection. (По аналогии с sql-injection)

Это про то, что третьи лица могут изменять ваш промт, когда вы общаетесь с чатботом.

Например, вы общаетесь с ии-консультатом в интернет-магазине. Задаёте ему обычные вопросы, а до ии промты доходят с дополнительными просьбами от компании-продавца. Продать что-то подороже, ответить вежливо, умолчать про что-то.

Это настолько простой и эффективный способ управлять "ии-персоналом", что он просто обязан быстро распространиться.

Сейчас уже большие проблемы с доверием к ответам ботов. И в ближайшее время они точно не решатся. Уж слишком выгодно манипулировать клиентами.