Отличия ИИ-вранья от галлюцинаций. Разбираемся в терминах.

В чем разница между 2 самыми популярными форматами врак у нейросетей?

- Галлюцинации – это сбой в процессе создания ответа. Когда у модели нет точных данных, или она их “не находит", то не останавливается (хотя должна), а вместо этого начинает сочинять, выдумывать факты, которые выглядят правдоподобно по своей структуре, но не имеют никакой связи с реальностью.

Раньше галлюцинации были совсем жуткие, например, почему Шекспир изобрел радио, сейчас все тоньше, но тоже случаются.

Источник ошибки: отсутствие или невозможность найти релевантную информацию в данных обучения. Связь с реальностью –- нулевая.

- Вранье – это неправильная работа с уже существующими данными или правилами. Несмотря на конкретные факты или указания в вашем запросе, нейросеть игнорирует или противоречит им, потому что ее общие тренировочные данные "перевешивают" ваш промпт.

Примеры:

Число слов в тексте. Вы просите 1 000 слов, но ИИ дает 200, при этом утверждает, что там 1 000.

Почему? Разные причины: исчерпывается контекст, нечего сказать, на каком-то этапе ИИ “засбоил” и придумал для себя, что дает правильно, есть программные ограничения на размер ответа.

Важно, что его установки в этом диалоге перевешивают ваши, и он им следует. Ну а вам – привирает.

Актуальность информации. ИИ может выдавать старые данные за новые. Например, наврет, что данные 2023 – это данные 2025. Будет убеждать вас, что все нормально, и новее не бывает.

Опять же, ИИ не врет в привычном смысле, просто какая-то программная установка (например, что ИИ обязан давать последние данные) перевесила реальность.

Есть ли другие виды “фантазий” у нейросетей? Есть, мы поговорим о них как-нибудь потом отдельно.