Действительно, нынешние модели (reasoning версии, прежде всего) теперь менее капризны и придирчивы к промптингу, но тем не менее все еще остается множество нюансов, которые следует учитывать при создании/отладке промпта. И часть из них совсем неочевидны.
Мы в CodeAlive постоянно улучшаем наши промпты и недавно прямо через промпт сделали файлы кликабельными, на основе этих скиллов генерируется ответ (LLM просто оборачивает название файла в ссылку). Сделали, написали тест - все ок.
Но через какое-то время мы заметили, что чатик периодически выплёвывает сырые XML-теги прямо в ответ. Пользователь спрашивает про код, а ему в ответе почти рандомно вылетает
<repository_links>. Вроде мелочь, но выглядит как баг - надо фиксить.Короче, как вы уже поняли, проблема оказалась в промпте - мы активно используем технику с XML-тегами для структурирования инпута в LLM, и в некоторых местах, когда нужно сослаться на конкретную секцию писали что-то вроде "в секции <smthng> лежат ссылки на репозитории" - так вот, этот нюанс, что мы ссылались именно через тэг и создавал тот неприятный артефакт в ответе от LLM.
В принципе, починилось это простым выпиливанием скобок:
"см. секцию <repository_links>" -> "см. секцию repository_links"
Ну, в общем, чтоб во всех этих техниках, ошибках и мис-юзах не утонуть, я, уже по традиции, соорудил скилл для вашего агента, который умеет как писать новые промпты, так и проводит аудит существующих - техник и ошибок там довольно много всяких с четким описанием юзкейсов, так что в должно быть полезно всем, кто хоть как-то соприкасается с промптингом.
Скилл: https://github.com/CodeAlive-AI/prompt-engineering-skill
Ставится одной командой:
npx skills add CodeAlive-AI/prompt-engineering-skill—
Кстати, про автоматизированную отладку и улучшение промптов (мета-промптинг) я уже рассказывал в своем посте - ведь как бы здорово вы не написали промпт, все равно нужно провести ряд экспериментов конкретно на вашей LLM, чтобы убедиться, что все работает корректно.
Расскажите в комментариях о ваших факапах с промптингом и неочевидными техниками, которые пришлось применить, чтобы достичь желаемого результата.
@ai_driven