Маркетплейс ИИ-юристов

На волне историй о том, что ИИ-агентов в России теперь можно нанимать как работников (проект Superjob) мне попалась статья про маркетплейс ИИ-юристов для досудебного анализа кейса. Выводы применимы не только для досудебного, но и вообще любого анализа, в т.ч. не юридического.

Сразу скажу – для меня это статья скорее программная, из далекого будущего.

Материала много, авторы описали общий сценарий работы условного ИИ-агента, технические особенности маркетплейса, где агент взаимодействует с пользователем и «существует» (спойлер – он децентрализован и весь на блокчейне).

Признаться, я не думал о проблемах такого маркетплейса ИИ-агентов, а их, оказывается, полно. И связаны они с информацией о конкретном ИИ-агенте, чтобы пользователь на ее основе выбирал себе подходящего «сотрудника».
ИИ-агент может быть предвзят из-за обучающих данных. Может случиться мем. Поэтому правильно, чтобы пользователь при выборе агента такую предвзятость сразу видел: сколько в выборке было социально-демографических групп и т.п.

Предвзятость – это большая проблема, она лечится а) системными промптами разработчика, б) скрупулезным анализом обучающей выборки, в) отдельными проверками на предвзятость уже сгенерированного ответа, и только в крайнем случае г) грамотными промптами. Теоретически, она может проявиться где угодно, и это необязательно будет связано с расовой или религиозной принадлежностью.

Авторы для выявления конкретной предвзятости (пол, раса и т.п.) предлагают криптографический алгоритм (ZKR-algorithm), который по запросу пользователя позволяет показать, есть или нет конкретные данные в обучающей выборке. Идея прекрасная, но для меня это звучит как фантастика. Я убежден, что обучающие данные может раскрывать разработчик, но достать их из модели невозможно. В основе работы LLM (и головного мозга) лежит идея сжатия информации. При таком сжатии потери неизбежны. Не исключено, что предвзятые данные потеряются.

Остальные параметры – стоимость работы ИИ-агента и качество его работы – проверяются сугубо технически. Стоимость определяется разработчиком, а качество – через тестовые датасеты, т.н. бенчмарки. Для юридических задач таких бенчмарков полно: LegalBench, CaseLaw Benchmark.

На этих 3 китах – сведения об обучающей выборке, метриках и стоимости и может строиться конкуренция на маркетплейсе ИИ-агентов. Старые добрые отзывы авторы не рассматривают.

Первоисточник