Перед выкаткой в прод наши ML-модели проходят через А/Б-эксперименты, чтобы мы могли оценить их эффективность на онлайн-метриках. Если вам интересно, как проходит А/Б-тестирование в Одноклассниках, почитайте статью, которую подготовили наши коллеги из продуктовой аналитики
https://habr.com/ru/companies/odnoklassniki/articles/772958/