🏛Исследование Стэндфордского университета выявило, что ИИ часто ошибается в юридических вопросах.

Стэндфордский университет провел исследование, в котором изучил ответы генеративного ИИ на юридические вопросы. В исследовании принимали участие следующие модели: ChatGPT 3.5 от OpenAI, PaLM2 от Google, Llama2 от Meta.

Результаты показывают, что в 69–88% случаях ИИ ошибается. ChatGPT 3.5 ошибается в 69% случаев, у PaLM2 процент ошибок составляет 72%, у модели Llama2 процент ошибок 88%.

Особое затруднение у нейросетей вызывало прецедентное право в судах низшей инстанции. На сложные вопросы по конкретным кейсам, требующие владения терминологией и юридической техникой, ИИ также чаще отвечал неправильно. В исследовании делается вывод, что ИИ не способен проводить полноценный анализ ситуации, так как это делают юристы. При этом ИИ в обоснование своей позиции генерирует недостоверный контент.

Также ИИ может делать ошибочные выводы из изначально некорректного запроса пользователя. Если фактическая ошибка содержалась в вопросе, то ИИ не исправляет ее, а делает выводы на основе такой ошибки. продолжали неверную цепочку рассуждений.