Следующим шагом на датасете протестировали LLM

Среди протестированных: GPT-4o, Claude3.5, Qwen2.5-14B, Llama3.1-Chinese-8B, Law-Llama3.1-8B, LawJustice-Llama3.1-8B. К выбору моделей у меня большие вопросы, статья готовилась в конце 2025 года, а модели использовались 2-летней давности. Кроме того, модели с параметрами 8 млрд на фоне GPT-4o и Claude3.5 (где параметров 50+ млрд) выглядят как счеты на фоне калькулятора.

По своему опыту знаю, что для научных исследований используются более простые модели из-за ограниченности ресурсов (финансовых, вычислительных и т.п.).

После тестов LLM на собранном датасете исследователи пришли к неутешительным выводам:

1. Лучший результат моделей – 59% верных ответов, худший – 26%. Это означает, что подбрасывание монетки при оценке доказательства дает примерно тот же результат, а иногда - лучше.

2. Дообученные на юридических текстах LLM дали результат хуже, чем общие модели. Я убежден, что этот вывод обусловлен исключительно количеством параметров специализированных моделей (8-14 млрд), и общих моделей (50+ млрд). Уверен, современные специализированные модели показали бы себя лучше.

3. Модели хорошо предсказывают кейсы, где требования истца удовлетворили полностью, а вот проигрышные и или с частичным удовлетворением – плохо.

4. Если ответчик дает доказательства, модели предсказывают гораздо хуже. Для конечного пользователя это проблема, т.к. вряд ли он будет обращаться за прогнозом по спору, где выносится судебный приказ или презюмируется отсутствие спора о праве.

5. Модель отдает предпочтение тому, кто первый дал доказательство (как правило – истец), безотносительно содержания доказательства.

6. Модель отдает предпочтение тому, кто предоставил больше доказательств, безотносительно содержания доказательств.

Исследователи проделали большую и кропотливую работу, пришли к любопытным выводам. Но до хороших результатов, а тем более до повсеместного применения еще очень далеко. Хотя я не вижу принципиальных препятствий для использования технологии в российском правосудии, количество технических трудностей таково, что появление более-менее вменяемой системы произойдет не скоро. К трудностям следует отнести особенности мотивировки судебных актов в российских судах (не для машин), огромное количество категорий споров с едва различимыми гранями, смешанные споры и т.п.

P.S. Побочным открытием для меня стало то, что вычислением вероятности того или иного судебного решения занимаются … с 1963 г.! А вообще на эту тему регулярно пишут, кому интересно – вот работа с прогнозами судебных актов Европейского суда по правам человека.