Почему обвязка не панацея от галлюцинаций
Есть четыре самых популярных способа поднять точность и консистентность LLM, не трогая саму модель:
- Промпт-инжиниринг. Дёшево, но хрупко: новая формулировка вопроса, и результат поплыл.
- Self-consistency. Генерируем пять ответов, берём большинство. Точность растёт. Счёт за токены тоже, в пять раз.
- Структурный вывод с валидаторами. JSON-схема гарантирует формат, но не факты. Модель уверенно врёт в правильно заполненных полях.
- RAG. Подтягивает знания векторным поиском. Но похожее по смыслу не значит нужное для решения. В контекст летит шум, и ответ каждый раз собирается из разного мусора.
Мы в SalesAI пошли другим путём: KAG. Онтология из 70 классов сущностей заранее определяет, какой подграф нужен для конкретного решения по сделке. Модель не ищет по стогу, а рассуждает по маленькому точному графу. Результат пишется обратно, и следующее решение опирается на более полный граф.
Точность живёт в структуре данных, а не в обвязке вокруг модели.
Post #1986
305

- 👨💻 2
- 👍 1
- 🔥 1