⚡️ Все нужное для тестирования AI-ассистента — уже в логах поддержки. Как собрать evals

AI-ассистент может правильно понять запрос, но ошибиться дальше: выбрать не тот товар, использовать устаревшие данные или выполнить действие без нужных полномочий. Чтобы предотвратить максимум таких сценариев, помощника нужно оттестировать до запуска — и продолжать делать это после.

В карточках показываем, как собрать набор evals из логов поддержки, приоритетных и пограничных сценариев, отдельно проверить безопасность, а затем разделить тесты на стабильное ядро, обновляемый набор и отложенную выборку. В статье разбираем, как оценивать ответы, процесс и бизнес-результат, проверять новые версии и превращать подтвержденные ошибки из продакшена в новые тесты: читать полностью.

Наш канал в «Максе» ➡️