TGViewer
ilovedocs | AI ilovedocs | AI @docsllm_channel · 4.6K subscribers
Post #224 2.79K
Как проверять LLM на галлюцинации по НПА

Отдельный риск при работе LLM над документами — это неверный пересказ содержания НПА, а также ссылки на несуществующий НПА или его старую редакцию.

Поэтому после подготовки документа полезно запускать самопроверку.

Это можно делать и в обычном чате, и через ИИ-агента.

• Обычный чат подойдет, если нужно проверить несколько конкретных ссылок.
• Если массив документов большой, лучше использовать агента. О работе с ним и пойдет речь.

Что можно сделать

1. Собрать все документы в одну папку

• Положите в папку документы, в которых нужно проверить ссылки на НПА.

• Если часть нормативных актов у вас уже сохранена, их можно вынести в отдельную папку. Помним про формат файлов.

2. Отдельно указать, какие источники считать приоритетными

Если текст нормативного акта уже лежит в папке (и именно его нужно использовать), лучше прямо запретить модели искать другую редакцию в интернете.

3. Для отсутствующих актов разрешить поиск актуальной редакции

Если нужного НПА в вашей папке нет, можно поставить отдельную задачу: найти актуальную редакцию на конкретную дату.

4. Просить проверить не только наличие ссылок, но и содержание

Можно ставить задачу проверить и сам факт существования НПА, и то, как он использован в тексте (правильно ли описаны конкретные статьи, пункты и разделы / нет ли ссылок на старые положения / и др.).

5. Попросить модель отдельно показать найденные ошибки

Лучше не просить просто "проверить документ", а просить вывести результат в понятной структуре (на ваш вкус).

Так проверка становится более контролируемой — понятно будет, где что лучше перепроверить.

6. Запускать проверку в чистом диалоге

В старом диалоге она может опираться на предыдущий контекст и хуже замечать собственные ошибки.

Для примера оставляем промпт от @borouhin из нашего чата:

Из папки прочитай файлы [...] и проверь их на отсутствие противоречий упомянутым в них нормативным актам. Все ли документы существуют, правильно ли описано содержание конкретных пунктов/разделов, нет ли ссылок на старые или недействующие редакции?
Некоторые документы сохранены в папку "laws". Для них используй только тот текст, который лежит в этой папке, не ищи в интернете другие версии. Для отсутствующих в этой папке документов постарайся найти максимально актуальную на сегодня редакцию в интернете. Сегодня 15 марта 2026 года.


Промпты из чата мы даем для понимания того, как может выглядеть постановка задачи. Но не нужно сохранять этот и другие промпты в какую-то библиотеку: они быстро устаревают и плохо адаптируются под ваши задачи и для разных моделей.

Лучше своими словами объяснить нейросети, что именно вы хотите, а после этого попросить собрать подходящий промпт под вашу задачу.

_________________________________
Сообщество юристов, которые покоряют нейросети
Канал | Курс
  • ❤ 14
  • 🔥 8
  • 👍 5
More from @docsllm_channel
  1. Sep 21, 2026Наша база знаний теперь идёт к вам! Кто вдруг пропустил, у нас есть база знаний, где мы со…
  2. Sep 18, 2026Post #306
  3. Sep 17, 2026Нейросеть у себя на компьютере: зачем и как? Локальная LLM — это модель, которая работает…
  4. Sep 16, 2026Как юристу использовать ИИ-агентов в своих задачах В этот четверг, 17 сентября в 11:00 по…
  5. Sep 14, 2026Мониторинг судебной практики: как такое сделать? Опять нашли золото в нашем чате. На этот…
  6. Sep 12, 2026Работа с агентами: внедрение Раньше все обсуждали, как написать хороший промпт. Сейчас в н…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →