🌀 Почему ИИ "галлюцинирует"?

Умный AI-ассистент по ресурсам для здоровья SARAH, работающий на базе GPT-3.5, круглосуточно раздаёт советы о здоровом питании, отказе от курения, снятии стресса и многом другом на восьми языках. Но, как и все чат-боты, SARAH может допускать ошибки. Например, однажды бот опубликовал список несуществующих клиник в Сан-Франциско с вымышленными названиями и адресами.

Склонность ИИ к фантазиям, известная как "галлюцинация", мешает широко применять чат-боты и становится большой проблемой.
Но почему ИИ “галлюцинирует”?

Чтобы ответить на вопрос, нужно знать, что зачастую задача ИИ – не просто искать информацию, а создавать новые данные. Когда вы задаёте вопрос чат-боту, он формирует ответ на основе языковой модели, а не баз данных либо готовой информации в Интернете.

Если "разрезать" такую языковую модель, вы не увидите готовую информацию, а найдете миллиарды чисел. Эти числа используются для вычисления ответов с нуля, создавая новые последовательности слов на лету. Большая часть текста, созданного языковой моделью, выглядит так, как будто его можно было бы скопировать с реальной веб-страницы. Но, как правило, эти сходства случайны. Языковая модель больше похожа на бесконечный волшебный шар предсказаний, чем на энциклопедию.

Поэтому бот генерирует текст, предсказывая следующее слово в последовательности. Если модель видит "кошка сидит", она может предположить "на", а затем "коврике" и так далее.

Чтобы угадать слово, языковая модель вычисляет оценку для каждого слова в своем словаре, изучая вероятность того, что это слово будет следующим в последовательности. Слово с лучшей оценкой выигрывает. Получается умная статистическая игра в угадайку.

Полностью исправить склонность ИИ к "фантазиям", скорее всего, невозможно. Поэтому, возможно, лучший подход — управлять своими ожиданиями и с осторожностью относиться к информации, полученной в чате.