Почему ИИ уверенно выдумывает факты и как быстро проверять ответы?
Главная проблема генеративного ИИ не в том, что он ошибается, ведь ошибаются и люди. ИИ просто может уверенно сообщать неправду как экспертный ответ.
Почему так происходит?
⚙️Языковая модель генерирует наиболее подходящее продолжение контекста. Она не извлекает из баз данных факты, особенно если информации недостаточно или вопрос сложный, она может достроить правдоподобный ответ.
😵💫Отсюда появился термин «галлюцинаций» у моделей, когда в ответах начинают появляться вымышленные факты, источники, даты и т.д.
➖И даже RAG (технология, которая объединяет большую языковую модель с внешней базой знаний, чтобы модель искала точные факты перед ответом) и поиск не решают проблему полностью. Система может найти не тот документ, взять нерелевантный фрагмент или правильно найти источник, но исказить интерпретацию.
📃Согласно данным из исследований, многие способы оценки моделей фактически стимулируют угадывание. Если за правильный ответ дают балл, а за «не знаю» — ничего, системе выгоднее иногда рискнуть и угадать.
Как проверить ответы?
Выделить значимые факты, от которых зависит ваш вывод.
Проверить даты, цифры, имена, версии и ссылки на исследования.
Для значимых моментов ответа ищите первоисточник (документацию, научную публикацию, официальный документ).
Если модель приводит источник, то нужно проверить его реальное существование и правда ли он подтверждает именно это утверждение.
Чем выше цена ошибки, тем строже должна быть проверка.
⭕️ Важно помнить про сферу применения ИИ. Если ИИ используется для генерации идей или просто для рассуждений, то проверка информации опциональна. Однако в отраслях с высокой ценой ошибки проверка является обязательным условием. И немаловажно учитывать то, на основе каких источников информации был подготовлен ответ.
❓Поэтому, обращаясь к ИИ за информацией, самый точный ответ можно получить не на вопрос «Можно ли доверять ИИ?», а: «Какие части этого ответа я могу принять как рабочую гипотезу, а какие обязан проверить?»
Мы в «ВКонтакте» | Мы в «Max»