Это продолжение прошлого поста — более продвинутые вопросы, которые стоит задать себе, если ИИ "выдумывает факты и цифры".
5️⃣Какого типа и размера ИИ-модель? Большие LLM (сотни млрд параметров) реже фантазируют, а рассуждающие умеют корректировать свои фантазии (если логика не слишком сложна). Многие модели, включая Qwen, Gemini и GPT-5, сами решают, рассуждать им или нет. Но всегда полезно запромптить так:
Перед ответом подумай и проверь найденные тобой факты через другие источники. 6️⃣Не перегружен ли ИИ контекстом? Лучшие модели имеют контекстное окно ~1 млн токенов, но это не значит, что его можно заполнять полностью (подробнее об этом). Даже у них риск галлюцинаций и прочих проблем будет ниже при контексте 5 тыс. токенов, чем при 50 тыс. (1 токен ~ 2-2.5 символов русского языка). И тут возникает следующий вопрос:
7️⃣Какой инструмент дает вам доступ к LLM? Чтобы наполнять контекст ИИ-модели значимой информацией, нужен RAG, память и саммаризация контекста длинных чатов, и эти механизмы могут быть реализованы плохо. Если инструмент (чат-бот) добавил в контекст не ту информацию из большого файла, веб-поиска или длинного чата — это риск галлюцинаций, а не только нерелевантных ответов. К сожалению, в Гигачате и корпоративных чат-ботах это случается чаще, чем в Perplexity, Qwen или ChatGPT.
8️⃣Зачем вы хотите цифры именно от ИИ? Большинство неустранимых галлюцинаций — про числа. Лучше попросить ИИ формулу для Excel или даже программный код под ваши данные, чем заставлять его выискивать и рассчитывать нужные числа. Нерассуждающие модели ошибаются в простейших расчетах, и не стоит "забивать гвозди этим микроскопом".
➿➿➿
Эти 8 пунктов — про личное использование ИИ вами и вашими сотрудниками. На уровне компании есть другие рецепты борьбы с галлюцинациями, начиная от улучшения RAG и проверки AI-текстов спец. людьми и заканчивая AI-powered актуализацией корп. данных.
➿➿➿
Насколько вы умеете управлять контекстом и качеством ответов ИИ?
👉 Перейдите по ссылке на наш бот, чтобы проверить себя и заодно копнуть чуть глубже в эту тему. На этот раз бот не для обсуждений с ИИ, но всё равно дает подробный фидбек!
@aidea4work #чатботы #LLM #обучение