Подскажите как получать опыт в AI QA

Так же, как и просто QA: искать стартап, работать за еду, либо просто за опыт.

Где можно обучиться ML-Evaluation?

Это фактически ML + тестирование. Поэтому выбирайте курсы по ML и курсы по тестированию - в зависимости от Ваших текущих скиллов. Конкретно курсов по ML Evaluation я не встречала, а курсы по ML/тестированию есть, например, на Coursera. В качестве введения можно начать с моего бесплатного курса "Как тестировать AI-приложения" на сайте или на Stepik.

Как быть с коммерческой тайной, если загружать документацию в ИИ?

Обезличивать документацию максимально, либо использовать внутренние разрешенные ИИ инструменты, у которых есть официальный доступ к внутренней документации.

Также изучайте пользовательские соглашения - например, Anthropic при использовании в корпоративном режиме обязуется не использовать ваши данные для обучения.

Какие инструменты для оценки вы используете на проектах? работали ли с langfuse или чем-то близким, по какому принципу подбирали инструмент для оценки и хранения датасетов?

Работаем как раз с Langfuse. Подбирали централизованный инструмент, позволяющий хранить информацию о трейсах, промпты и датасеты, а также трекать работу агентов и строить графики изменения метрик.

Лилия Урмазова