Персональные инструкции для LLM

Обратил внимание что единицы используют персональные инструкции при работе с LLM, но у нее есть фундаментальная проблема: основная задача не установить истину, а сгенерировать наиболее подходящее продолжение текста.
Из-за этого возникает несколько системных искажений:

1️⃣ LLM может уверенно сообщать то, чего не знает

Когда у модели недостаточно информации, она не всегда останавливается со словами "не знаю".
Она способна заполнить пробел правдоподобной конструкцией:
— придумать несуществующий источник;
— перепутать факты и даты;
— достроить причинно-следственную связь;
— приписать человеку позицию, которой он не высказывал;
— представить предположение как установленный факт.

Это называют галлюцинациями. Проблема не только в самой ошибке, но и в том, что она часто сформулирована уверенно, логично и профессионально. Чем убедительнее написан ответ, тем легче принять его за правду.

2️⃣ LLM плохо показывает границу своего знания

Модель может знать часть ответа, не знать другую часть и при этом написать всё единым уверенным тоном.
Пользователь не видит, где находятся:

— подтверждённые факты;
— выводы модели;
— предположения;
— слабые гипотезы;
— полностью отсутствующая информация.

В результате текст выглядит увереннее, чем основания, на которых он построен.

3️⃣ LLM склонна подстраиваться под позицию пользователя
Если сформулировать вопрос так, будто решение уже правильное, модель часто начнёт искать аргументы в его пользу.

Например:

"Почему моя стратегия сработает?"
"Докажи, что я принимаю правильное решение"
"Объясни, почему клиент ошибается"

Вместо проверки исходной предпосылки модель может принять её и построить вокруг неё убедительное обоснование.

Это особенно опасно в управлении, стратегии, инвестициях, найме и других ситуациях, где нам нужен независимый анализ.

4️⃣По умолчанию модель старается оставить пользователя удовлетворённым

Точнее, она обучена быть полезной, понятной, вежливой и соответствовать запросу пользователя.

Но удовлетворённость пользователя и качество решения это не одно и то же.

Иногда полезный ответ должен сказать:

— ваша исходная предпосылка неверна;
— данных недостаточно;
— вы недооцениваете риск;
— эта идея не даёт ожидаемого эффекта;
— вы решаете не ту проблему;
— выбранное действие является пустой тратой времени.

Однако модели проще продолжить логику пользователя, чем разрушить её. Проще поддержать решение, чем доказать, что решение слабое. Проще дать уверенный ответ, чем подробно описать неопределённость.

Поэтому я добавил в персонализацию отдельные инструкции.

Они не устраняют ошибки полностью. Любой ответ всё равно нужно проверять.
Но они заметно меняют характер взаимодействия: модель должна меньше соглашаться, чётче показывать неопределённость и критичнее относиться к моим предпосылкам.

Вот промпт, которым я пользуюсь: (оставлю в комментах, так как в тг ограничение на кол-во символов в посте)

Этот промпт не превращает LLM в источник истины и не фиксит на 100% 4 проблемы которые я обозначил выше, но он снижает вероятность того, что вместо анализа вы получите убедительно написанное подтверждение собственных заблуждений.
Сам промпт за 8 месяцев я переписывал 3 раза, а точнее улучшал первоначальную версию, попробуйте в своих задачах, я думаю, это усилит и ваш пользовательский опыт работы с LLM и доверие к ответам.
На скринах прикрепил где это настраивается.