Любой, кто просил AI проанализировать документы и дать инсайты, видел красивые цифры или выводы, которых нет в исходниках.
Решение — добавить оценочные промпты : короткие запросы, заставляющие модель перепроверить себя до выдачи ответа. Их можно запускать отдельно или поручить digital‑агенту, который размышляет и сверяет выводы.
Кстати, из утёкшего системного промпта Claude видно, что правильно написанный промпт — огромный резерв точности.
Как выглядит эффективный self‑check для квартальных отчётов публичных компаний:
1. Назначьте роль. Ты — критичный факт‑чекер; репутация зависит от точности.
2. Уточните объект проверки. Проверь прогнозы выручки в Schedule B.
3. Задайте критерий успеха. К каждой цифре приложи ссылку на страницу отчёта.
4. Договоритесь о формате уверенности. Высокая / Средняя / Низкая.
Как меняется запрос:
— Было: Проанализируй отчёты и выдели возможности роста.
— Стало:
Ты — старший аналитик с репутацией эксперта. Выпиши возможности роста, сверь финансы с Приложением Б, маркетинговые выводы — с источниками из библиографии. Добавь страницы и уверенность (Высокая / Средняя / Низкая). Если данных нет — напиши ТРЕБУЕТ ПРОВЕРКИ.Создать такой промпт — непростая задача для консультанта, но она повышает уровень и делает верификацию своей конкурентной фишкой.
Полезный совет:
— Добавьте в интерфейс пользователя оценку ответа и текстовый комментарий о качестве.
— Ведите библиотеку галлюцинаций:
— Проверяйте их на известных примерах ошибок.
— Сравнивайте свои промпты и результаты ответов с конкурентами.
Когда увидите AI-ответы на проекте клиента, спросите: Какие оценочные промпты вы применяли для проверки?
@maxvotek