Примерно месяц назад я писал анонс, что мы сделаем бенчмарк юридических ИИ-сервисов.

Идею не бросили, работа кипит, просто подготовительный этап достаточно большой.

Было много разных вопросов и развилок. При принятии решения думаем в первую очередь о пользе продукта для рынка и о том, чтобы не треснуть под масштабом задачи)

Ряд решений:

1. Тестируем всех, вступительный взнос не берем.

2. Тестируем по самой частой функции сейчас — ответы на вопросы по законодательству.
Области законодательства выбрали исходя из опроса в сообществе — 5 шт.

3. Вопросы пишут эксперты из разных юридических фирм. Оценку ответов сервисов также делают люди. ИИ используется как вспомогательный инструмент для перепроверки.

4. Сервисы могут подсветить свой другой функционал, дать комментарий на бенч, рассказать свои кейсы и пр. через платные опции. На место повлиять не могут)

5. Методология оценки, вопросы, ответы будут открыты для аудитории. Так больше ценности. Размышляем тут над тем, все-все открывать или есть какая-то часть, которая интересна только самим сервисам, решим чуть позже.

6. Целимся в конец сентября, но срок мб сдвинется, сейчас посмотрим как пойдут вопросы-ответы.

Из разговоров и вендоров, и пользователей видно, насколько это нужная штука, конечно это нас дополнительно очень мотивирует.