📈Жизненная ситуация: есть продакшн-система с входными параметрами X, которые можно менять, и выходными параметрами Y, которые важны для бизнеса. Например, в ленте социальной сети можно настраивать гипер-параметры механизма ранжирования. Это влияет на ключевые метрики сервиса: количество пользовательского фидбэка, таймспент, ретеншн. В статье Towards optimal experimentation in online systems описан алгоритм поиска входных параметров X, которые растят заданную комбинацию выходных параметров Y. Иными словами, ищем конфигурацию X, которая на A/B-эксперименте имеет хороший шанс улучшить систему.

С высоты птичьего полёта алгоритм выглядит так:
1️⃣Запускаем серию A/B-экспериментов, в которых определённым образом “распределяем” по пространству входные параметры X. Эта серия организована так, чтобы, во-первых, собрать данные для следующих шагов и, во-вторых, удобно анализировать параметры Xi по отдельности.
2️⃣Обучаем модели, предсказывающие Yi по X. Авторы утверждают, что в окрестности “контроля” достаточно линейных и квадратичных моделей.
3️⃣Используем полученные модели, чтобы решить задачу квадратичной оптимизации с ограничениями: максимизировать линейную комбинацию Yi, не слишком сильно уронив каждый из них.

Авторы из YouTube не только приводят алгоритм, но и подробно его мотивируют, рассматривают подводные камни и улучшения, дают практические советы. Главный минус — веса компонент Y в задаче оптимизации предлагается спросить у бизнеса, а бизнес не всегда знает, откуда их взять. В любом случае, статья очень глубокая: видно, что авторы применяли описанный алгоритм не раз. Как и другие статьи из The Unofficial Google Data Science Blog, эту статью можно распечатывать и обклеивать стены в дурке использовать как руководство к действию.👨‍💻