Промпт инжиниринг - не самая простая штука. Если вы хотите сделать какой-то продукт - вам все равно придется погружаться в тонкости работы LLM и различные стратегии.
Но давайте признаем: не каждый из нас здесь будет сам писать промпты для какого-либо AI продукта, гораздо чаще встречается сценарий, когда мы пишем промпты для каких-то своих повторяющихся операций (делаем ИИ-ассистентов). Сегодня я поделюсь с вами тем, как оптимизирую данный процесс.
Одна из базовых стратегий промпт инжиниринга, которую должен знать каждый - это Few-Shot промптинг, когда мы даем модели несколько примеров того, что мы хотим получить, а потом она отвечает нам по заданному формату. Однако кто много работал с LLM - знает, что даже при качественном Few-Shot - модель может отклоняться от формата. Связанно это с тем, что LLM по своей природе недетерминированны. Чтобы бороться с этим можно замиксовать Few-shot с другими стратегиями, поиграться с примерами, а можно сделать проще.
Reverse Prompt Engineering - мой первый выбор, когда мне нужен результат по определенному формату. Данная стратегия предполагает, что хоть мы и воспринимаем LLM как черный ящик, за кулисами все равно имеется какая-то логика, по которой модель принимает и обрабатывает наши запросы. В процессе ответа она ищет семантически наиболее вероятный ответ. На это мы и будем делать упор.
Вам понадобится:
1. LLM
2. 3-5 примеров выхода модели
3. 5 минут вашего времени
Алгоритм действий:
1. В LLM закидываем следующий промпт:
Ты - первоклассный специалист по написанию промптов. Мне нужно написать промпт для ИИ-ассистента, который будет помогать мне с [вписать вашу задачу], он должен принимать на вход следующие данные [сюда вписывайте, что будете скармливать LLM]. Вот пример желаемого ответа: [сюда вставляете свой пример]. Напиши 5 вариантов промптов, которые могли бы использоваться для такого ассистента.
2. Получив свои 5 вариантов, закидывайте в LLM следующий пример с вот таким промптом:
Вот еще один пример ответа [сюда вставить пример]. Из тех 5 промптов, что ты сгенерил, оставь только те, которые подходят и для предыдущего ответа и для текущего.
3. Повторяем операцию #2 с оставшимися примерами. Полученные промпты пробуем использовать для решения своей задачи в новом окне. Если вам что-то не нравится - возвращаемся с обратной связью в то окно, где создавали промпты и просим доработать
4. Полируем финальный промпт руками (опционально).
Почему это работает?
Давая модели больше вариантов ответа постепенно, мы сокращаем наименее вероятные промпты, чем больше примеров дадим - тем точнее будет финальный промпт. В процессе можно еще просить его доуточнять после нескольких итераций. Почему не кинуть все примеры сразу? Потому что COT-промптинг работает лучше zero-shot-а :)
Данная стратегия может использоваться и как стартовая точка в промптинге ИИ-ассистента для вашего AI-продукта, но это уже другая история :) Пользуйтесь!