Про АБ и модные технологии.

Слыхали про CUPED, DnD и LATE? Если да, значит вы очень модный и следите за трендами. Мне очень доставляют все эти три технологии, потому что они вскрывают всю суть современной индустрии.

Каждая из них предлагает преобразовывать данные с помощью какой-то стрёмной формулы и говорит, что после преобразования жизнь станет лучше. Дисперсия упадёт, зависимость от времени исчезнет. В общем, кайф. Правда формулы непонятные, а результаты неинтуитивные. Но можно копнуть чуть глубже и внезапно выяснится, что все эти технологии — ребрендинг линейной регрессии.

Эконометрика очень редко применяется в оффлайн АБ-тестировании, хотя именно для этого она и создана. Каждый раз у нас есть какая-то переменная воздействия и какие-то переменные, которые надо проконтролировать.

Если мы делаем АБ в офлайне для магазинов, невозможно разделить их на группы так, что между ними не будет каких-то структурных отличий. Перекрёсток около бизнес-центра, перекрёсток в Бутово и перекрёсток в Хамовниках — совершенно разные перекрёстки. Есть огромное число факторов, которые надо проконтролировать от размера магазина до типа района и его населения. Дробление на кагорты может частично помочь, но с каждым новым дроблением разбиение на тестовую и контрольную группы будет становиться всё менее случайным.

Как классно, что есть линейная регрессия, где есть переменная воздействия и есть контрольные переменные, наличие которых позволяет получить несмещенную оценку эффекта.

Если посмотреть на тот же CUPED с такой точки зрения, выяснится, что это линейная регрессия с ограничением на ковариационную матрицу. Если поанализировать DnD, то мы просто докинем в регрессию тренд и пару дамми. А LATE оказывается историей про инструментальные переменные.

Более того, открываются новые горизонты. Например, у объектов часто есть какие-то индивидуальные эффекты. Вспоминаем про панельные модели и изобретаем процедуру для проверки гипотезы, которая будет их учитывать. Придумываем пафосную аббривиатуру, пишем статью про это, становимся знаменитыми.

Парадоксально, но индустрия только начинает пользоваться линейной регрессией для проверки гипотез. Из-за этого в разных местах её переизобретают, что доставляет.

Если хотите чуть глубже понять мою мысль, у меня есть для вас свежая серия видосов от моего любимого Бориса Демешева. Там есть и про CUPED и про DnD.

А ещё можно почитать книжку Филиппа Картаева. Это лучший русскоязычный учебник по эконометрике. Одна из последних глав как раз про место регрессии в АБ. Тут ссылка на литрес, но мы то знаем что в интернете можно всё добыть бесплатно.

Если вы готовы на английский и вы не читали mostly harmless econometrics, самое время. Ещё недавно появилась какая-то mastering metrics от тех же авторов в стиле кунгфу-панды, но её я пока не читал.
#my_view #ml