📋 В промптинге много хаков — текстовых приёмов, которые улучшают результат. Но по мере развития моделей многие из этих способов устаревают. Собрали популярные приёмы для промптинга и доказательства их эффективности (или бесполезности).

✅ РАБОТАЕТ

🟣 Форматирование — правильная структура промпта почти всегда улучшает результат, особенно хорошо себя показывает разметка JSON. О том, как использовать этот приём, мы писали в отдельном посте.

🟣 Дублирование промпта — эффективная техника только для нерассуждающих моделей. Простое прописывание задачи дважды в одном сообщении позволяет нейросети целостнее понять промпт при втором прочтении.

❔ НЕОДНОЗНАЧНО

🟣 Примеры — безотказный способ повысить качество выдачи, но нужно знать меру. Исследователи обнаружили, что рост количества примеров сначала идёт на пользу, но потом перестаёт её приносить, а в некоторых моделях даже делает выдачу хуже.

🟣 Оверпромптинг — излишне большой промпт ухудшает выдачу: модель просто не справляется с объёмом контекста. Исследование показало, что даже лишние пробелы, не несущие никакой информации, портят результат. Правда, это случается только с очень большими промптами от 7000 токенов.

🟣 «Думай пошагово» — просьба немного повышает качество только в моделях без Chain-of-Thought. В новых же эта техника встроена в саму нейросеть, а дополнительные рассуждения помогают только в математике. В остальных случаях пользы мало, а в медицинских задачах призыв к рассуждениям даже ухудшил выдачу.

❌ НЕ РАБОТАЕТ

🟣 «Ты эксперт по...» — самый популярный и одновременно переоценённый совет. Исследование показало, что роли крайне редко улучшают выдачу, но их всё ещё можно использовать для стилизации ответа.

🟣 Эмоциональное давление — приписки вроде «Это важно для моей карьеры» тоже не работают. Приём стал популярным после исследования, в котором ему приписывали улучшение выдачи вплоть до 115%. Однако новые данные показали, что давление бесполезно.

🟣 Угрозы и чаевые — не помогают. Исследователи проверили всё: «дам $1000 чаевых», «дам триллион долларов», «пожалуюсь в HR», даже «пну щенка». Этот приём не дал практически никакого эффекта в решении сложных задач, однако всё ещё работает с индивидуальными вопросами к нейросети.

Подписывайтесь 👉 @techno_yandex