Почему ваши промпты не работают стабильно?

А о чем вы вообще спрашиваете?

Проблема языка – один из наибольших вызовов при разработке и внедрении AI на бэкенд и в бизнес-процессы.

Когда вы последний раз не понимали какие-то части из того, что написано в документе ваших коллег?

Я – сегодня.

Точно так же и входные данные для LLM могут содержать неоднозначности.

Например, словосочетание "обработать запрос" может много чего значить.

Распарсить JSON? Валидировать входные данные? Если да, то по каким правилам? Или извлечь сущности? Сформировать ответ? В каком формате?

Вот так, по ходу разработки, мы неформально отвечаем себе на подобные вопросы связанные с "целью", и так же неформально формируем контекст.

Все неоднозначности нашего собственного понимания перетекают в промпт.

Как правило, чем специфичнее область, в которую мы пытаемся внедрить AI, тем сложнее будет добиться высокой точности в результатах.

Что с этим делать?

Хорошая новость в том, что договариваться можно. И с людьми и с языковыми моделями.

Начинайте с глоссария.

Перед тем как писать промпты (и вообще разрабатывать систему) - выпишите ключевые термины и сущности вашего домена.

Дайте им точные определения. Убедитесь что каждая сущность определяется однозначно на естественном языке.

Не "обработать запрос", а "распарсить JSON, валидировать по схеме X, извлечь поля A, B, C".

Чем точнее и формальнее язык - тем стабильнее будет результат.

Важно этот глоссарий утвердить и со своими коллегами, со всей командой, со специалистами прикладной области.

Тогда вам, как разработчику AI системы, будет проще договориться и с бизнесом, и с LLM.

***

Если вам нужна помощь на любом из шагов – от валидации идеи до проектрования архитектуры, вы можете оставить здесь заявку на консультацию.