Исследование LinkedIn: Саморазвивающаяся AI-система клиентской поддержки

LinkedIn предложили отказаться от модели "один раз настроили чат-бота и периодически вручную его подкручиваем". Вместо этого они создали замкнутый цикл: AI-агент → поиск актуальных знаний → оценка качества ответа → автоматическое улучшение промпта → повторная проверка → безопасный запуск. В результате в A/B-тесте система заметно повысила долю обращений, которые пользователи смогли решить самостоятельно, и резко улучшила точность маршрутизации.

При этом базовую модель не переобучают. Вместо этого система постоянно совершенствует промпты, механизмы поиска и получения информации из базы знаний, а также правила использования инструментов.

Одна из самых интересных частей исследования - автоматическая оптимизация промптов. LinkedIn использует подход, похожий на генетический алгоритм: создаются разные варианты промптов, они тестируются, лучшие "выживают", затем комбинируются и немного изменяются. Но критичные бизнес-правила при этом не участвуют в эксперименте. Они являются жёсткими ограничениями: если новый вариант нарушает политику или обязательные требования, он не проходит дальше.

Качество AI не оценивается одним общим баллом. Система отдельно проверяет:

🟢 насколько ответ основан на найденных источниках;
🟢 правильно ли понят запрос;
🟢 релевантен ли ответ;
🟢 полностью ли решён вопрос;
🟢 корректно ли используются инструменты;
🟢 не потерялся ли смысл при работе на разных языках.

В эксперименте совпадение автоматической оценки с человеческой составляло 87%. При этом если оставляли только один общий балл - падало до 67%.

За две недели A/B-теста саморазвивающейся системы:

🟢 доля продуктовых и технических вопросов, решённых без человека, выросла с 33,7% до 42,7%;
🟢 самостоятельное завершение сценариев отмены - с 61,9% до 66,6%;
🟢 точность маршрутизации выросла с 38,2% до 68,8%.

Главные выводы исследования

Качество ИИ-поддержки определяется не столько самим агентом, сколько системой постоянного управления его качеством: данными, поиском информации, оценкой, тестированием, контролем версий и наблюдением за работой системы. Самоулучшение возможно только в безопасных рамках с неизменяемыми бизнес-правилами, проверками на ошибки, поэтапным внедрением изменений и возможностью быстро вернуть предыдущую версию. Подключение базы знаний само по себе качество не гарантирует.

Ограничения исследования

Исследование ограничено использованием ИИ для автоматической оценки ответов, дополнительными вычислительными затратами на улучшение запросов к модели, коротким двухнедельным испытанием в рабочей среде и проведением только в одной компании. Кроме того, все изменения проверялись как единая система, поэтому невозможно точно определить вклад каждого отдельного компонента; качество зависит от полноты базы знаний, многоязычность подробно проверялась только для английского и китайского языков, а сама система построена на закрытых моделях и технологиях.

➖➖➖
Клиентский опыт и качество Linkedin | Telegram | VK