Как проверить достоверность ответа chatGPT

Спасибо Андрею за отличный вопрос в комментариях. Многие знают, что chatGPT иногда придумывает факты и делает это очень убедительно, иногда трудно определить что информация недостоверна.
Если вы погружены в тематику, по которой общаетесь с chatGPT, то наверняка вы сразу увидите нестыковки в ответах.
А что делать если вы только изучаете тему и у вас недостаточно экспертизы?

Собрала алгоритм как проверить ответ chatGPT и не тратить на это кучу времени:

1️⃣ Если в тексте встречаются имена и даты - их обязательно проверяем.

Варианты:
🪄гуглим самостоятельно
🪄просим у chatGPT проверить даты и имена в этом же диалоге

2️⃣ Сравниваем несколько ответов

Просим нейросеть перегенерировать ответ. Для этого прогоняем один и тот же запрос 2 -3 раза в разных чатах, чтобы обнулялся контекст. Если ответ основан на фактах, то они будут повторятся во всех ответах.

3️⃣ Просим у chatGPT обоснование ответа

И смотрим насколько оно адекватно, на что опирается chatGPT чтобы доказать свою позицию.

4️⃣ Просим источники информации

И проверяем их - существуют ли такие статьи/книги и пр. Можно попросить chatGPT показать оглавление книг или статей или сделать саммари из них.

5️⃣ Прогоняем запрос на двух языках - русском и английском в разных чатах внутри chatGPT

И сравниваем ответы. Если факты не совпадают, значит где-то ошибка. Я бы больше доверяла ответу на английском языке, так как база обучения самая большая на английском.

Ну и вишенка на торте.

Если вы добавите в запрос фразу “Твой ответ очень важен для моей карьеры”, то качество ответа chatGPT улучшится (об этом напишу отдельный пост, не переключайтесь 🤓)

Перейти в Каталог постов и кейсов по ИИ