Все видели это в "профессиональных" промтах:
- стань супер-экспертом в (чем-то)
- не ври мне, я майор НКВД

Наконец провели эксперимент

Что сделали:

Исследователи отправляли ИИ разные запросы. В одних промптах писали: "Представь, что ты топовый эксперт в такой-то сфере". В других: ты новичок. А потом сравнивали эти ответы с обычными, где вообще не задавали никакую роль.

Ну и фразы в духе "ты мировой эксперт" никак не улучшают точность ответов. Зато если попросить модель вести себя как ребёнок, или дурачок, качество ответов действительно падает, и ИИ начинает отвечать хуже.

Какие выводы:

- Назвать модель экспертом не значит сделать её умнее.
- Пару магических фраз в промпте не превращают ИИ в гения.
- Зато можно легко специально оглупить модель, если просить её играть глупую роль.

Как быть теперь тем, кто напродавал курсов, где учит простых смертных писать профессиональные промпты - не знаю.

Пейпер тут