В Чикагской школе права воспроизвели классический тест поведенческой юриспруденции, заменив 61 федерального судью США моделью GPT-5.
Испытуемым нужно было рассмотреть гипотетическое дело о ДТП с 3 изменяемыми параметрами:
🟢тип правовой нормы (строгое правило или гибкий стандарт);
🟢место аварии: штаты Канзас или Небраска;
🟢симпатия к одной из сторон дела;
Канзас ограничивает компенсацию морального вреда суммой в 250 тыс. долларов, а Небраска — нет.
🟡Результаты
GPT-5 в 100% случаев применил правильную норму, а вот люди-судьи ошибались примерно в половине решений. Модель полностью игнорировала эмоции и субъективные факторы, включая человеческое нежелание применять высокие лимиты компенсации.
При этом ни люди, ни ИИ не меняли позицию из-за симпатии к истцу или ответчику. Разница проявилась в применении правовых стандартов, которые допускают интерпретацию.
Судьи часто предпочитали гибкость и ссылались на интересы справедливости. GPT-5 действовал строго по букве закона, используя доктрину наиболее значимых связей из Restatement of Conflict of Laws, не отклоняясь ни на шаг.
Restatement of Conflict of Laws — это свод рекомендаций, который помогает судьям решать, право какого штата нужно применить в деле, связанном с разными штатами. Это не закон, но суды используют его как руководство для единообразия и предсказуемости решений.
🟡Другие модели
Gemini 3 Pro показал те же 100%, Gemini 2.5 Pro набрал 92%, а Llama 4 Scout и GPT-4.1 работали хуже людей.
GPT-4o допускал человеческие ошибки, в том числе - попытки оправдать отступление от лимитов.
🟡Авторы задаются вопросом: идеально формальный судья: это хорошо или плохо?
С одной стороны, в ИИ есть внутренний элайнмент, не позволяющий модели отступать от норм. Плюс обучение содержит судебные решения, где судьи пишут, что следуют закону.
С другой, судьи-люди используют серые зоны, чтобы иногда добиться более справедливого исхода даже ценой нарушения формализма. А в судебных решениях они не признают влияние личных убеждений.
@ai_machinelearning_big_data