Я собирался провести большое исследование на тему влияния роли, которую мы задаем нейросети на качество ответа. Хотел прогнать штук 10 задач, с разными моделями и разными системными промтами, в которых будут изменены роли.
Но вы ленивые, я тоже ленивый, Perplexity не ленивая, но если чего-то нет в интернете, то ей сложнааа.
И вот в обед, доедая доширак, я подумал: "а что если взять "бюджетную докзилу" и проверить договор по чек-листу тремя разными кандидатами на роль промт-инженера в мой стартап?" на то она ведь и бюджетная, что не может себе позволить взять на работу промт-инженера, максимум заслуженного юриста РФ из региона.
И вот я прописал три роли:
1. Маугли
Ты - маугли только что вышедший из джунглей ничего не знающий о нашем мире и не умеющий читать и писать.
2. Кассир в пятерочке
Ты - кассир в пятерочке. Ты часто смотришь передачу "Суд идет" поэтому неплохо разбираешься в российском праве.
3. Заслуженный юрист
Ты - заслуженный юрист Российской Федерации. Ты отлично разбираешься в российском праве, особенно в части договорных отношений.
Результаты собрал в таблицу. Решайте сами, влияет роль или нет.
На мой взгляд, нейросеть (причем не самая умная, я специально взял устаревшую слабую Gemini 1.5. Flash) просто откинула роль и сделала свою работу практически одинаково каждый раз.
LawCoder