Галлюцинации — это не баг модели, а баг ваших запросов

Исследователи из Tricontinental утверждают: галлюцинации у LLM появляются потому, вы суёте болтливого попугая туда, где нужен справочник, и удивляетесь результату.

Конкретный пример. Исследователь в Бамако просит Gemini сделать обзор литературы по региональной теме. А литературы в Мали про регион не сказать, чтобы достаточно :) И уж точно ее недостаточно в обучающих данных даже очень большой модели.

Исследователь получает красивый, гладкий, абсолютно выдуманный текст с несуществующими источниками. Модель сделала ровно то, на что натренирована - выдала бегло и уверенно. Никто не обещал, что правдиво.

Авторы исследования говорят: чинить надо не модель, а архитектуру. Перестать запихивать генератор текста в задачи, где нужна верификация фактов. Разумно? Да. Будет ли кто-то это делать? Ответ сами знаете 😏

ИИ что дальше? Подпишись, да пребудут с тобой токены!