Друзья, мы начинаем серию постов о том, как AI помогает развивать бизнес и расскажем вам про опыт мировых компаний и то, как они применяют искусственный интеллект (иногда самым неожиданным образом), чтобы улучшить клиентский опыт, процессы внутри компании и как итог вывести бизнес в лидеры рынка. Сегодня поговорим про компанию Morgan Stanley — это мировой лидер в сфере финансовых услуг. А как мы знаем, финансы — во многом бизнес взаимоотношений. Но даже в столь личной и чувствительной работе может помочь искусственный интеллект.
Идея проста: если финансовые советники в Morgan Stanley смогут быстрее получать информацию и тратить меньше времени на повторяющиеся задачи, то будут предлагать клиентам больше качественных идей.
Чтобы убедиться в том, что AI поможет в решении поставленной задачи, эксперты провели ряд тщательных оценок для каждого приложения — Evals.
Evals — это строгий, структурированный процесс измерения того, как модели ИИ реально работают по сравнению с бенчмарком в конкретном сценарии использования. Оценки помогают собирать экспертную обратную связь на каждом этапе внедрения и непрерывно улучшать работу ИИ.
Ключевые метрики зависят от того, что наиболее важно для каждого сценария использования. Оценка Morgan Stanley была сосредоточена на повышении эффективности и результативности их финансовых консультантов. Поэтому в первую очередь эксперты оценили:
Как AI переводит текст. Измерение точности и качества переводов, создаваемых моделью.
Как AI обобщает информацию. Оценка того, как модель сжимает информацию, используя согласованные метрики точности, релевантности и связности.
Как отвечает AI по сравнению с экспертами. Сопоставление результатов ИИ с ответами опытных консультантов, оценки выставлялись за точность и релевантность.
Итоги оценок придали Morgan Stanley уверенности и подтолкнули к интеграции AI в продакшн.
В результате 98 % консультантов Morgan Stanley ежедневно используют OpenAI. Доступ к документам вырос с 20 % до 80 %, время на поиск резко сократилось. И, как главный итог, консультанты проводят больше времени в общении с клиентами благодаря автоматизации задач и более быстрой генерации идей.
Кэйтлин Эллиотт, руководитель по генеративным ИИ‑решениям на уровне всей фирмы:
Отзывы консультантов чрезвычайно положительные. Они активнее взаимодействуют с клиентами, а действия, на которые раньше уходили дни, теперь выполняются в течение нескольких часов.
Источник