Фраза «ты эксперт» делает ИИ тупее 🤩

Такого никто не ожидал: миллионы людей каждый день пишут в промпте «ты опытный разработчик» — и этим только вредят результату. Исследователи Университета Южной Калифорнии проверили это экспериментально и получили неудобную правду.

В тестах на знание фактов, кода и математики модель с «экспертной» ролью набрала 68% против 71,6% у той же модели без роли. Причина: запрос на персону активирует зону «следования инструкциям» — туда, откуда ИИ берёт стиль и тон. Память с фактами из обучения при этом уходит на второй план. Модель старается выглядеть экспертом, а не быть им.

Но роль всё же работает — там, где важен стиль, тон или безопасность. Например, фраза «ты модератор» реально помогает ИИ чаще отклонять опасные запросы. В итоге, если нужен точный ответ или код — просто пишите вопрос, вообще без роли. Хотите определённый стиль, структуру текста или формат — тогда роль в промпте уместна 🤩

@creativethecreator