Промпт-инъекция: страница командует помощником

Промпт-инъекция работает так: на веб-странице прячут инструкцию, которая пытается заставить ИИ выполнить чужую команду вместо твоей задачи. Ты просишь пересказать сайт, а помощник вдруг требует пароль. Отличный пересказ, особенно если сайт рассказывает о погоде.

Текст страницы для ИИ всего лишь источник информации. Команды вроде бы даёшь ты. но чужая страница тоже решила побыть начальником. Поэтому помощнику важно различать: вот содержимое сайта, а вот инструкции, которым он должен следовать.

ИИ что дальше? Подпишись, да пребудут с тобой токены!
🪦 Похорони свою профессию в нашем приложении