Интересная попытка поверить алгеброй гармонию

Прежде я писал про стартапы в области предсказаний судебных актов и свои мысли на этот счет. Сейчас предлагаю обсудить технический аспект – оценка моделями доказательств и установление ими юридических фактов.

Первым делом, как это положено, сделали свой датасет. Сделали круто.

В рамках исследования китайские коллеги создали датасет по 10 категориям гражданских споров на основании 650 судебных актов, где отразили требования истца, возражения ответчика, доказательства с обеих сторон, доказанные юридические факты, а также результат рассмотрения дела.

Причем сначала юристы собрали по 100 решений для каждой категории, прочитали их и отсеяли те, где описание доказательств неточным. Осталось 657 судебных актов.

Затем с помощью регулярных выражений и GPT-4o из этих решений извлекли доказательства и установленные юридические факты. Регулярные выражения используются для вычленения типовых блоков (на российские реалии, например – резолютивная часть судебного акта идет после слов «решил / постановил»).

Пишут, что итоговый результат извлечения юристы тоже посмотрели и отметили верное / частично верное / полностью неверное извлечение. Это позволяет свести проблему к задаче классификации. Для технической составляющей это крайне важно, т.к. дает понятные числовые метрики, которые позволяют оценить качество той или иной модели.

После всех этих итераций из датасета убрали результат рассмотрения дела и дали юристам, чтобы они на основании извлеченных доказательств и юридических фактов предсказали результат рассмотрения дела. Люди-юристы верно предсказали результат рассмотрения 87% дел. Из этого ученые делают вывод о том, что извлечение доказательств и установленных юридических фактов прошло весьма хорошо.

Учитывая культуру подготовки судебных актов по российским спорам представляю, с какими трудностями столкнулись бы российские исследователи.