Выше я не раз постил с пруфами кейсы, которые наглядно показывают: LLM нельзя слепо доверять.

При этом я обещал рассказать, что делать, когда важно задействовать сильные стороны моделей в пром задачах с критическими требованиями.

Первый такой материал принят к публикации пару месяцев назад.

Краткая выжимка:

Для критических задач мы предлагаем использовать замкнутый нейросимволический контур. Контур состоит из двух паттернов, которые работают только вместе:

- Формальное заземление — ограничивает пространство генерации LLM с помощью OWL-онтологии (или метамодели) на входе.
- Символьная валидация — строго проверяет сгенерированный ответ средствами символьного вывода на выходе.

Простыми словами:

Чтобы доверять результатам LLM, нужно делать две вещи одновременно:

На входе. Буквально передать код онтологии в контекстное окно модели (лучше через system message в API — тогда её можно закешировать) или использовать облегчённую метамодель (часто она кодируется в Pydantic). Это заставляет модель рассуждать на заданном в онтологии языке: https://t.me/IntelligentSystemsArchitecture/336. Без этого шага второй шаг будет бесполезен — валидировать будет просто нечего. LLM будет выдавать результаты на своём, случайно сформированном языке.

В дальнейшем разберём, когда OWL предпочтительнее Pydantic и почему в своих экспериментах, включая эксперимент в статье, мы используем именно формализованные в OWL онтологии.

На выходе. Прогнать ответ через любую детерминированную систему: граф знаний, вычислительный алгоритм или формальный ризонер. Только вместе эти два шага гарантируют, что агент не выдаст то, что нарушает заданные ограничения.

Мы доказали эффективность подхода экспериментально на ряде кейсов, в том числе в задаче подбора тактик безопасности для режимов отказов системы экстренного торможения (AEB). Детали и результаты — в полной версии статьи. Кодом эксперимента поделюсь по возможности.

И важное дополнение.
Наработок много, но делиться ими без журнальных публикаций не представляется возможным — они мгновенно копируются без указания имён авторов и их вклада. Поэтому детали здесь будут публиковаться с небольшим лагом, к сожалению.