5 неудобных вопросов при найме AI

#клиентспросил : "Ринат, сотрудники нашего партнера хотят работать с Legal AI продуктом конкурента. Что делать?"

Ответом стал список из 5 неудобных вопросов, которые они могут задать компании-поставщику при найме их AI.

1. Какие именно AI модели вы используете в своем продукте? Кто их поставщик, и какие лицензии у моделей?

Такие вещи в секрете поставщик держать не имеет права, т.к. у каждой модели есть свои ограничения и условия использования. Например семейство Llama 2 разрешено использовать только с английским языком. А ChatGPT 4 страдает от высокой нагрузки в пиковые часы.

2. Можете ли вы дать письменную гарантию, что мои данные не попадут к кому-то еще?

Например, если поставщик услуг - это Azure OpenAI, то все данные сохраняются в Azure на 30 дней (за исключением approved customers). Но, конечно, лучше всего, если в продукте можно использовать только локальные модели.

3. Вы используете data anonymisation? Можете ли вы дать гарантии, что процесс 100% надежен? Продемонстрируйте нам анонимизацию на наших данных.

Анонимизацию данных обещать легко. Но она может и пропускать некоторые нюансы, про которые поставщик может не знать. Лучше это проговорить и проверить самостоятельно заранее.

4. У вас есть AI-driven information retrieval? Давайте сделаем интерактивный тест вашей системы! Загрузим пачку документов на 1000 страниц и зададим двадцать вопросов. У 10 из них нет ответов, а у 10 есть ответы на конкретных страницах.

Пачку документов могут приготовить ваши сотрудники на основе своей ежедневной работы. Вопросы лучше них тоже никто не составит. Главное, не показывать документы и вопросы заранее.

5. Все делают ошибки. Даже OpenAI ChatGPT учится на них. Как можно в вашей системе пользователю оставить feedback, и как скоро система система учтет его? Покажите нам!

Вам работать с новым AI инструментом не один год. Это сотрудничество будет более плодотворным, если этот инструмент будет адаптироваться не только под текущую специфику, но и под все новое.

Эти вопросы будут неудобны в тех случаях, если поставщик AI-продукта продает обертку на LlamaIndex как “технологический прорыв”. Если же они продумали все и сделали качественный продукт, то ответить на эти вопросы будет только в радость.

Ваш, @llm_under_hood 🤗