Ошибка за $440 000 или как НЕ нужно использовать chatGPT😐

Наткнулась на новость из Австралии, где небезысвестная компания Deloitte вернула правительству Австралии часть гонорара в $440 000 австралийских долларов. Почему этот кейс меня привлек (помимо стоимости услуг Deloitte😂)? Да потому что компания подготовила отчет с использованием chatGPT и забыла про второй супер важный шаг – факт-чекинг. Поэтому в тексте нашли выдуманные ссылки, факты и неточные цитаты. Компания признала, что использовала GPT-4, чтобы «дополнить пропущенные части». The end.

Хотим ли мы платить такие деньги за свои ошибки?
Надеюсь, что нет. Поэтому вот вам один приемчик, как можно проверять факты и утверждения, которые мы получаем от нейросети.

Во-первых, хочу подсветить, что если вы делаете ресерч, например, где от актуальности и достоверности фактов зависят ваши решения, то ваша задача – проверять все ссылки вручную. Да, представьте, открывать ссылки. Да, перепроверять. Да, что-то уточнять.

Но вот еще один интересный подход – Chain-of-Verification.

Как работает Chain-of-Verification.
Если кратко, то пишем запрос → просим составить список фактов → проверяем → верифицируем.

Если чуть подробнее
❤Пишем запрос. Тут все как обычно - стандартный промпт
❤Просим составить список фактов. Модель извлекает из ответа утверждения/факты, которые нужно проверить (буллет-список). Мы можем отредактировать этот список.
❤ Проверяем. Модель по каждому факту формулирует вопрос проверки и даёт обоснование/ссылку; помечает, где нет подтверждений. Можно добавить % уверенности или "нет источников", если их нет.
❤ Верифицируем. Модель переписывает итог: оставляет подтверждённое, спорное помечает как гипотезы, добавляет источники.

📎Пример ПРОМПТА в комментариях.

Ваша пятничная Нейро-Туча.