Сможет ли ChatGPT защитить вас в суде?

Исследователь из MIT выяснил, как бот справится с написанием эссе для получения адвокатской лицензии.

Год назад компания OpenAI сообщала, что ChatGPT сдал экзамен на адвоката лучше, чем 90% юристов-стажёров. Эрик Мартинес решил проверить это утверждение и пришёл к выводу, что модель подбирается максимум к 70% результативности и не готова выступать в роли настоящего адвоката.

В ходе эксперимента Мартинес оценил ChatGPT, используя стандарты юридических экзаменов. В результате оценки робота за эссе не дотягивали даже до средних значений. Оказалось, что «блестящие» результаты ИИ из исследования OpenAI получились благодаря сравнению его работ с качественными сочинениями — а вовсе не при оценке по официальным критериям.

Несмотря на впечатляющий скачок развития GPT-4, языковым моделям ещё далеко до выполнения ежедневной работы адвоката и полноценной защиты граждан — такой вывод сделал Мартинес в результате исследования.

Поэтому, если вам понадобится адвокат, лучшее решение — всё ещё звонить Солу Гудману.