Отдайте агенту пять документов, из которых два врут, — и он, скорее всего, не скажет вам, какие именно.

Он выдаст вполне связный и убедительный ответ. Только внутри окажется всё сразу: актуальная спецификация, вики двухлетней давности и решения из старого POC. Граница между ними исчезнет, и понять, откуда взялся конкретный вывод, станет практически невозможно.

Сначала я думал, что это лечится простой инструкцией: «проверяй источники на актуальность». Оказалось, нет.

Самое забавное, что модель действительно проверяет. Она может совершенно честно написать: документ A обновлён месяц назад, документ B — два года назад, между ними есть противоречие. А следующим шагом так же честно собрать информацию из обоих в один гладкий ответ.

Потому что её попросили ответить на вопрос, а не сохранить неопределённость.

У меня сработал другой подход: вообще не задавать основной вопрос, пока источники не разложены на столе. Сначала Source Map: что это за документ, кто его владелец, когда он обновлялся, насколько ему можно доверять и с чем он конфликтует. И только когда эта карта появилась — задавать вопрос по самой задаче.

Это скучнее. Добавляет минут двадцать работы и совершенно не похоже на магический AI из красивых демо.

Зато противоречия не растворяются в хорошем тексте, а у каждого вывода остаётся основание.

Пожалуй, это и есть главное: сначала разобраться, на чём может стоять ответ. И только потом просить AI его дать.