ИИ может ошибаться дважды: сначала придумать неправильный вывод, а потом уверенно подтвердить собственную ошибку.
Поэтому в агентной системе можно выделить отдельного критика. Один агент готовит заключение, второй пытается его опровергнуть: проверить источники, логику вывода, судебные акты и нормы права.
В Камертон.Вердикт мы пошли именно по этому пути. Но быстро выяснилось, что сделать критика недостаточно. Его еще нужно научить правильно критиковать.
🔎 Начать пришлось с судебной практики
Обычный семантический поиск здесь часто подводит. Он находит текст, похожий на запрос, но не понимает главного: суд поддержал этот довод или просто процитировал его, чтобы потом отклонить?
Поэтому мы перестали смотреть на судебный акт как на набор похожих фрагментов.
Каждый акт разбирается на отдельные элементы: какой вопрос рассматривался, кто обратился в суд, чего требовал, что решил суд, какие доводы поддержал или отклонил и на какие нормы сослался.
Отдельно сохраняется цитата из мотивировочной части с указанием страницы.
Это позволяет разделить две вещи, которые легко перепутать: требование удовлетворено и доводы заявителя приняты.
Дело можно выиграть совсем по другой причине. Если этого не учитывать, ИИ легко припишет суду позицию, которой у него никогда не было.
И только после такой структуризации критик действительно может проверить вывод: подтверждает ли конкретный судебный акт конкретный тезис.
⚠️ Но сам критик тоже ошибается
Мы специально собрали несколько правил, которые пришлось выработать после собственных ошибок.
1. Проверяйте то, что действительно есть у системы
Критик однажды назвал выдуманным реальное определение Верховного Суда. Он искал его во внешней базе, хотя документ лежал в папке, которую загрузил юрист.
2. Не найдено — не значит, что этого нет
В другой раз из-за сбоя связи справочник ничего не вернул. Система решила, что статьи 449 ГК РФ вообще не существует.
Очевидно, что отсутствие ответа от базы не доказывает отсутствие нормы.
3. Нужно приводить номера дел к одному формату
А40-208198/25 и А40-208198/2025 могут быть одним и тем же делом. А русская «А» и латинская «A» для системы — разные символы. Часть ложных замечаний критика появлялась именно из-за таких вещей.
4. Критик не должен сам удалять текст
У нас был случай, когда по его замечанию из заключения исчезли четыре нормы права. Все они были реальными и подтверждались источниками. Поэтому правильная реакция на сомнение — поставить пометку "не подтвержден" и показать ее юристу. Не удалять абзац.
👨⚖️ Критик сообщает, юрист решает
Низкая оценка не должна автоматически блокировать заключение. Результат выдается, замечания показываются рядом.
И ещё один важный момент: оценку критика нужно уметь пересчитывать.
Если выяснилось, что замечание было ошибочным, его последствия тоже должны исчезнуть. Иначе одна ошибка критика продолжит влиять на весь документ.
Что в итоге?
Критик помогает ИИ замечать ошибки, но сам тоже может ошибаться. Поэтому его задача не принимать решение, а показать юристу, что стоит перепроверить. В итоге хороший критик не заменяет человека, а помогает ему быстрее увидеть слабые места в заключении.