Я регулярно участвую в разбирательствах с участием судебных экспертов. Мы, оппоненты, а иногда и сам суд номинируют разных экспертов.
Когда письма всех кандидатов собраны на столе, начинается т.н. "битва за экспертов" - нужно убедить суд назначить экспертизу конкретным экспертам. В частности, для этого стороны проводят due dilligence всех экспертов и показывают его суду: "Посмотрите, какой эксперт Х плохой - в срок экспертизу никогда не сдает, а когда сдает - суд не считает ее достоверной". Наши оппоненты утверждают похожее, только для других экспертов. Послушав обе стороны, суд выберет экспертную организацию
На этом этапе работа юриста заключается в том, чтобы проанализировать много судебных актов (определения и решения), где упоминается конкретный эксперт и вычленить из них необходимую информацию.
Это можно поручить LLM.
Для этого нужны: промпт и судебный акт, где упоминается эксперт.
Промпт:
Ты - юрист с большим стажем. Тебе нужно посмотреть решение суда и сказать, качественно ли экспертом ФИО проведена судебная экспертиза. Если экспертиза была проведена плохо - процитируй решение суда в этой части. Ничего не придумывай.
Что можно еще улучшить в будущем:
1. Загрузка судебных актов: если есть несколько десятков судебных актов, то можно сделать пайплайн, который по очереди загружает их в LLM вместе с промптом в один клик;
2. Поиск судебных актов: парсер, который собирает все судебные акты по ФИО эксперта (важно не спутать с однофамильцами);
3. Выдача ответа: тот же пайплайн может собирать ответы LLM и возвращать ответ в виде таблицы суд.акт/цитата.
4. Улучшать промпт, в т.ч. с учетом рекомендаций. Заклинание "ничего не придумывай" периодически не срабатывает.
На выходе получаем "поисковик" для анализа репутации экспертов.
Проверка ответов LLM - обязательна. LLM работает как ленивый паралигал: может где-то не досмотреть, а где-то для красного словца приукрасить. Даже несмотря на проверку, я сэкономил время.
Пользуйтесь!
P.S. пока писал пост, снова задумался о проблеме состязательности в судебной экспертизе. В США и Великобритании, насколько мне известно, процедура устроена иначе - там каждая сторона приводит своего эксперта и они состязаются в знаниях. Судебные юристы в этих странах также анализируют репутацию эксперта, но этот анализ не приводит к тому, что суд допускает и слушает только одного эксперта. Подробнее на эту тему рекомендую работу Дениса Архипова и Владимира Коновалова в журнале Закон.