🤪 Почему генеративный ИИ ошибается?

Слово hallucinate (с англ. «галлюцинировать») стало словом 2023 года. В контексте ИИ это означает ситуации, когда нейросеть генерирует ложную и бессмысленную информацию. Рассказываем, почему это происходит, на примере больших языковых моделей (LLM), таких как GPT-4 или Claude 2.

😒 Как LLM ищут ответ и почему врут?

Большие языковые модели похожи на Т9, функцию автозаполнения в смартфонах, предсказывая следующее слово на основе предыдущих: например, после «привет» обычно идет фраза «как дела». Однако LLM более продвинуты: они обучаются на огромных объемах данных и учитывают весь контекст текста.

Хотя LLM умеют грамматически правильно строить предложения, они не осознают их смысл. Они подбирают слова, основываясь на вероятности и «случайно» выбирая самый подходящий вариант. Что происходит в это время внутри модели, мы не знаем — это «черный ящик».

Итак, LLM знают, как писать, но не понимают, о чем они пишут. Поэтому, когда ChatGPT выдает какую-то небывальщину, это означает, что LLM посчитала такой вариант сочетания слов наиболее подходящим, а не потому, что она «так думает».

Более подробное объяснение устройства LLM читайте здесь.

➕ Что еще влияет на галлюцинации ИИ?

→ Ошибки, неточности и фейки в обучающих датасетах.

→ Неправильный контекст в запросе.

→ Недостаточная обученность или, напротив, переобучение.

👎 Как часто нейросети выдумывают?

Согласно исследованиям, ChatGPT выдумывает ~3% информации. Модели компании Meta ~5%. Claude 2 — 8%. Более старые — ошибаются чаще.

❌ Что можно сделать с галлюцинациями?

→ Обратная связь — уязвимые темы должен прокомментировать человек. Этим занимаются компании-разработчики.

→ Грамотно составлять запросы, давая достаточно контекста. Смотрите памятку по написанию промптов.

CEO OpenAI Сэм Альтман считает, что проблему галлюцинаций решат в ближайшие 2 года, однако также добавил: «Существует баланс между креативностью и идеальной точностью, и модели придется учиться, когда вы захотите от нее того или другого».

@hiaimedia