Вы подробно описали задачу, добавили контекст, задали формат и попросили ничего не придумывать. Модель отвечает уверенно, подробно и логично.
Но один факт оказывается выдуманным. Почему?
Разберём пять ситуаций, о которых важно помнить при работе с LLM.
1️⃣ У модели нет нужной информации
Вы спрашиваете про внутренний регламент компании, свежие показатели или документ, которого нет в контексте. Более подробный промпт не добавит модели недостающих данных.
➡️ Что делать: передать источник вместе с запросом или использовать систему, которая умеет получать информацию из внешних источников.
2️⃣ Информация могла устареть
Тарифы, законы, версии библиотек, характеристики продуктов и должности людей меняются. Модель при этом может сформулировать устаревшую информацию так же уверенно, как актуальную.
➡️ Что делать: всё, что зависит от времени, сверять с актуальным первоисточником.
3️⃣ Задачу можно понять по-разному
«Сравни эффективность двух рекламных кампаний». По какому показателю: CTR, CPA, ROMI, продажам или прибыли?
Если критерий не указан, модель может выбрать его сама. И этот выбор не обязательно совпадёт с тем, что имел в виду пользователь.
➡️ Что делать: заранее определить критерии или попросить модель сначала задать уточняющие вопросы. Здесь более точный промпт действительно помогает.
4️⃣ Больше контекста не всегда означает лучший ответ
Кажется логичным: загрузим больше документов и получим более точный результат. Но вместе с полезной информацией в контекст попадает шум, а нужный фрагмент может затеряться среди десятков страниц.
Это важно и для RAG-систем, в которых модель получает найденные фрагменты документов. Если поиск передал нерелевантные материалы или пропустил нужный источник, одним хорошим промптом проблему решить сложно.
➡️ Что делать: следить не только за объёмом, но и за релевантностью контекста: проверять, какие материалы система нашла и достаточно ли в них данных для ответа.
5️⃣ Модель может ошибаться без признаков сомнения
Языковая модель генерирует ответ, но убедительная формулировка сама по себе не подтверждает его достоверность. Она может придумать факт, ссылку или цитату и встроить их в логичное объяснение.
Аккуратная структура, профессиональные термины и уверенный тон могут сделать такую ошибку менее заметной.
➡️ Что делать: проверять ключевые факты, ссылки и цитаты по самим источникам. Просьба «ничего не придумывай» полезна, но не заменяет проверку.
Как тогда работать с LLM?
Для важных задач лучше не останавливаться на схеме «вопрос → ответ».
Добавьте ещё несколько этапов:
задача → источники → ответ модели → проверка → результат
Хороший промпт помогает модели правильно понять задачу. Но качество результата зависит ещё и от исходных данных, актуальности информации, релевантности контекста и того, как вы проверяете полученный ответ.