Я прогнал техники промптинга через 5737 реальных вызовов. На классификации ни одна не обошла обычную инструкцию.
Взял 9 техник (CoT, few-shot, step-back и другие), три модели — локальную gemma, GPT и Claude — и две живые SEO-задачи: разложить 150 запросов по интентам и написать Title под жёсткие критерии. Мерил точность и цену каждого вызова.
Что вышло:
— Лучший результат на классификации дала обычная инструкция: 0,787 у Claude. Все «усилители» — ниже.
— Chain-of-Thought на Title поднял GPT с 0,700 до 1,000 и уронил gemma с 0,560 до 0,260. Одна и та же техника.
— Few-shot — единственный, кто где-то выиграл и нигде не провалился. Но с устаревшими примерами упал до 0,220 против 0,760: примеры сильнее инструкции, причём в обе стороны.
— Step-back стоил в 3,4 раза дороже обычного промпта при точности ниже.
Мой вывод из замера: техники помогают точечно, а платить за них токенами и временем приходится всегда. Самая дорогая ошибка — тащить технику в задачу, где она не нужна.
Полный разбор с таблицами и методологией:
https://sk-seo.ru/blog/tehniki-promptinga-test.html
Генератор — собирает промпт по любой из техник:
https://sk-seo.ru/tools/generator-promptov.html
Каталог 54 техник: что делает, когда окупается, где ломается (+ xlsx):
https://sk-seo.ru/tools/katalog-tehnik-promptinga.html
Post #72
142