Галлюцинация ИИ — уверенный, но вымышленный ответ машины, не соответствующий реальности или доступным источникам.
Модель не проверяет факты и не знает, где правда, а где ложь. Модели предсказывают каждое слово-токен на основе вероятностей, а не сверяются с реальностью. Если какие-то конструкции встречались в наборах данных при обучении, машина будет использовать их. Чтобы понять, почему модель может галлюцинировать, нужно понять, как вообще появляются эти ответы. Архитектура обработки ответа может выглядеть как цепочка (см. изображение).
1. Prompt — запрос пользователя. Модель не понимает точный смысл и намерения человека, она воспринимает это просто как набор значений-токенов.
2. LLM — место, где языковая модель принимает запрос. Здесь машина начинает вычислять вероятности следующих токенов.
3. Model Answer — черновой ответ модели. Первичный, внутренний вариант ответа, который компьютер сгенерировал до проверок, фильтров и оценок.
4. GPT-4o. Отдельная модель или этап, который оценивает качество чернового ответа: полезность, соответствие инструкциям, безопасность.
5. Evaluated Answer — оценённый ответ. На этом этапе уже ясно, какие части хорошие, слабые или потенциально опасные. Финальный текст ещё не выбран, но уже понятно, что можно оставить.
6. Selection of Tokens — выбор слов-токенов из подходящих. Модель проверяет, какие токены проходят по вероятностям и ограничениям. Тут решается, какие слова реально попадут в финальный ответ.
7. Selected Tokens — составляется финальный набор токенов для ответа. Это почти финальный ответ.
Attention Maps. Процесс, который идёт параллельно с предыдущими с момента попадания запроса в нейросеть. Включает части запроса, на которые модель обращала внимание при генерации. Это параллельный предыдущим шагам процесс, один из ключевых механизмов ИИ-моделей для выделения важной информации.
8. Token-Label Aligning — сопоставление конкретных слов из ответа и меток. Например, «релевантно», «полезно», «опасно». Модель должна понимать, какие слова за какой эффект ответственны.
9. Attention Scores aligned to Labels. Рассчитывается, какие части текста сильнее всего повлияли на оценки.
10. Attention-based Features. Шаг, когда из карт внимания извлекаются числовые характеристики. Эти числа упрощённо представляют поведение модели и не используются для ответа, только для анализа.
11. Windowed Features — оконные признаки. Окна — это оценённые куски текста, а признаки — числовые характеристики текста, по которым алгоритм принимает решение.
12. Selected Features — машина оставляет только самые важные признаки, которые влияют на решение.
13. Classifier — классификатор. Отдельная модель или алгоритм, который на основе признаков решает: «Ответ нормальный? Опасный? Неточный?»
Галлюцинация появляется в первой половине схемы — на пути между пунктом LLM до Selected Tokens. В этой части нет фрагмента «проверить ответ на правдивость», есть только несколько этапов подбора подходящих слов.
Иногда галлюцинацию может заметить классификатор как внешний компонент системы. Но он тоже не понимает наверняка, если модель, которую он анализирует, врёт. Классификатор только подсчитывает соответствие шаблонам, согласованность, соответствие контексту. В итоге он может сказать: «Похоже на галлюцинацию, но не факт».
Получается, на всём пути генерации ответа нет ни одного места с жёсткой проверкой: «Это правда или ложь?»
Журнал «Код» | Промокод Практикума