Як я формулюю промти для Opus 5, щоб отримувати правду

LLM за своєю природою (як авторегресійні мовні моделі) навчені генерувати текст до кінця. Якщо в промті є завдання "зроби висновок", модель оптимізує ймовірність тексту так, щоб цей висновок був. Навіть якщо даних немає. Кілька прийомів, які реально змінюють якість відповіді.

Я явно даю моделі право сказати, що даних недостатньо, і прошу окремим блоком перелічити те, що з даних не випливає. Без цього дозволу модель добудовує відсутнє, бо її формат відповіді передбачає завершений висновок.

Я прошу окремо розділяти три речі: що прямо підтверджується цифрами, що є правдоподібною інтерпретацією і що потребує додаткової перевірки з іншого джерела. Це найкорисніша структура відповіді, яку я знайшов, і вона економить години на суперечках із клієнтом.

Я прошу назвати умову, за якої гіпотеза була б хибною. Якщо такої умови сформулювати не виходить, гіпотеза беззмістовна - гіпотеза, яку неможливо спростувати, не є науковою чи практичною.

Я не довіряю моделі точні дати апдейтів Google і назви інструментів по пам'яті. Це перевіряється окремо. Так само не довіряю жодним числам, які вона витягла з великої таблиці очима, — тільки тим, що порахував код або функція.

І я двічі проганяю ключовий аналіз у різних сесіях, без згадки про перший результат. Розбіжність між двома прогонами — найдешевший індикатор того, що висновок тримається на інтерпретації, а не на даних.