Всем привет!🔥

📆 В эту пятницу (03.10) в 17:00 Дарья Гиталова выступит с докладом

Между словами и слоями: как LLM принимают решения и обрабатывают информацию

Большие языковые модели сталкиваются с неопределённостью и «галлюцинациями». Мы разберём два подхода к пониманию того, как LLM принимают решения и когда им можно доверять.

Авторы первого подхода демонстрируют, что уверенные, но неверные ответы модели можно предсказывать по динамике полезной информации на всех слоях модели. Вместо анализа только финального слоя предлагается оценивать Layer-wise Usable Information (LI), что позволяет предсказывать ошибки и оценивать надёжность модели без дополнительного обучения.

Второй подход изучает поведение моделей при принятии решений под эпистемической неопределённостью. На основе экспериментов с экономическими лотереями, мы посмотрим, как лексические маркеры вроде «возможно» или «почти точно» влияют на интерпретацию, и почему классическая Prospect Theory работает для LLM далеко не всегда.

Статьи:
1. Detecting LLM Hallucination Through Layer-wise Information Deficiency: Analysis of Unanswerable Questions and Ambiguous Prompts
2. Prospect Theory Fails for LLMs: Revealing Instability of Decision-Making under Epistemic Uncertainty

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club