28 ноября Андрей Яковлев разобрал статью от OpenAI  «Why Language Models Hallucinate?»

🎬Выкладываем запись встречи и делимся выводами:
🛑галлюцинации возникают из-за статистического обучения (модель учится «угадывать» токены);
🛑post-training не избавляют модель от галлюцинаций;
🛑бинарные метрики бенчмарков поощряют угадывание, из-за чего модели оптимизированы быть "хорошо сдающими экзамены", а не честными;
🛑решение — использование "честных" методов оценки и вознаграждения моделей.

#reading_group #recording #llm