«A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs»

Здесь авторы представляют предобученные головы неопределённости (UQ heads) — дополнительные модули, которые можно подключить к различным LLM для оценки уверенности в ответах. Эти головы обучаются на признаках внимания и вероятностях токенов, а их архитектура позволяет эффективно выявлять галлюцинации на уровне утверждений.
Полученные UQ heads показывают state-of-the-art результаты на нескольких наборах данных, хорошо обобщаются на новые языки и модели (включая Mistral, Llama и Gemma 2).

📍 Hall C Session 13
🕓 Fri. Nov 7 10:30–12:00
📎4532-Main