Про качество AI продуктов

А сегодня смотрим классный разговор моих хороших друзей, Виталия Шароватова и Алексея Шаграева. Леша сейчас делает Lovi – продукт, помогающий подбирать косметику и skincare продукты. Конечно же, с помощью AI – и конечно же сталкивается с тем, с чем и другие похожие продукты – проверять качество становится сильно менее тривиально.

Вот какие подходы к QA у них работают:

👉Dark launch — выкатывают фичу в прод, но скрытно. Пользователь не видит, зато продукт уже работает с живыми данными.
👉Краудтестинг с помощью Толоки или MTurk, чтобы получать фидбэк от максимально разнообразных живых пользователей.
👉Black box testing – единственный способ оценивать функциональность недетерминированной системы.
👉Тестирование с помощью AI агентов на фермах девайсов помогает симулировать реальных пользователей и быстро прогонять разные exploratory сценарии.