Kotelok

На небе воронки (продолжение)

Когда мы хотим что-то улучшить, мы работаем не с тем, где плохо, а с тем, где может быть лучше.

Представьте, что вам скажут, что известный мастер игры в бирюльки смог выбить в прошлой игре 150 тугриков. Круто? Круто же? Нет? Непонятно? А если вам скажут, что до этого никто в истории не выбивал и 120? Сразу лучше. Это не просто мировой рекорд, это значительно прорыв в игре. Наверное, он что-то придумал. Или феноменально повезло. В любом случае, теперь масштаб понятен.

У нас аналогичная ситуация. Воронка - это хорошо. Но без понимания того, какой она могла бы быть, данных для принятия решений недостаточно.

А что нужно добавить? Ну, идеально бы данные по конкурентам или рынку в целом (как на графике ниже).

Тогда мы увидим, что "ужасно низкая" конверсия в добавление в корзину выше конкурентов аж на 3 процентных пункта! Почему она ниже других конверсий? Тут человек выбирает нужную сепульку и начинает принимать решение о том, чтобы расстаться с деньгами. Ситуация, когда тут образуется высокий отвал, нормальная.

А вот на этапе оформления заказа какая-то засада. Конкуренты теряют половину клиентов, а мы - три четверти. Если это не оригинальный ход (такое может быть, но тогда мы это знаем и ждём), то выглядит существенной проблемой. И тут явно надо что-то делать. На следующем этапе тоже грустненько. Возможно, корень у этих двух проблем общий.

А что же делать, если таких данных нет, а их не бывает примерно никогда? Интересный вопрос, но это - совсем другой, непростой, разговор.

Главное, что я хочу сегодня сказать: любая качественная (не количественная) метрика без опоры (бенчмарка) несёт в себе мало информации.

На небе воронки
Давайте обсудим воронки и принятия решений на их основе.

Представим, что мы помогаем развивать бизнес про продаже сепулек в интернете. Обычный интернет-магазин. Пользователю надо где-то его найти, понять, куда он попал, найти нужную ему сепульку, принять решение о покупке, что-то про себя рассказать на этапе оформления покупки и, наконец, расстаться с деньгами.

На каждом из этих этапов часть пользователей может отвалиться, отказаться от покупки. Типичная воронка отвалов выглядит как-то так (см. график). Подписи на вертикальной оси - число пользователей, которые остались "в деле", подпись над графиком - доля оставшихся с прошлого шага.

Наши возможности ограничены, и сделать идеально везде мы не можем. Для достижения наилучшего эффекта надо приложить максимум усилий в самой проблемной части воронки.

Вопрос: где же она?

А благодаря Леониду можно наглядно увидеть, что такие имена как Марта и Мая действительно популярнее у родителей девочек, которые родились, соответственно, в марте и мае.

Благодаря Алексею нашлось объяснение только одного всплеска популярности имени Дамир. Это связано со знаменитой аварийной посадкой самолёта на кукурузном поле под Жуковским. Одного из героических пилотов звали Дамир Юсупов.
Рост популярности годом ранее всё ещё остаётся для исследователей загадкой 😄

Ну и совсем лёгкий график.
Тут даже комментировать ничего не хочу.

По именам источник прежний
По девайсам источник от создателя

Давайте вместе начнём трудовой день с пары простых графиков.

Мода на имена

Вы наверняка слышали слышали анекдоты о том, что сейчас детям дают "не такие" имена и "обычные" Дима с Машей в песочнице ощущаются как иностранцы.

Московские ЗАГСы публикуют подробную статистику по именам. К сожалению, только топ-100 самых популярных в месяц.

Давайте посмотрим, какие имена выросли сильнее всего в короткий промежуток времени. Обычно это объясняется модой или какими-то важными событиями.

Дамир и Тихон, можно сказать, поменялись местами. И Тихон, конечно, не настоящее модное имя, просто высокий отскок на фоне общего падения. Возможно, нужен более умный детектор всплесков.

А Дамир - просто шикарный разворот тренда. Что жt такого произошло в 2019? И нет, фактор национальностей не даст такого эффекта.

С Меланией понятно всё, в 2017 у одной из них муж стал гораздо известнее в России.

А вот с Мартой - нет идей. А у вас?

Детали:
- данные только по Москве, на уровне страны сырых данных не пуьликуют
- 2020 год выкинул вообще из детектора, там всё было не так, даже ЗАГСы месяц не работали
- данные я чуть-чуть сгладил, маленькие выборки, волатильность большая

А вот другой пример сложных взаимосвязей. Инфляция и ключевая ставка.

Инфляция - сложный процесс, на который влияют решения буквально каждого человека и предприятия в стране. Банк России, говорят, может своей ставкой сильно изменить расклад сил.

Правда, если смотреть "в лоб" на этот график, может сложится другой впечатление. Смотрите: они только портят! Сначала ставка поднимается, а потом за ней растёт инфляция. Потом инфляция падает и лишь затем снижают ставку. Что вообще происходит?

Есть, конечно, альтернативное объяснение. В ЦБ сидят не дураки, они принимают решение на основании ожидаемой, а не фактической, инфляции. И когда видят, что будет плохо, начинают делать резкие движения. И наоборот, когда ситуация успокаивается, раскручивают гайки.

Так ли это? Одного графика недостаточно для того, чтобы ответить на такой вопрос.

А теперь коэффициент рождаемости по когортам.
Когорт много, я выделил три женские:
- девушки, которым 18 лет
- девушки, которым 25 лет
- девушки, которым 35 лет

Посмотрите, насколько сильно этот коэффициент зависит от возраста и какая у них динамика.

Доля девушек, которые рождают в 18 лет, неуклонно падает с 1990 года. Думаю, это можно считать положительной динамикой.
Доля девушек, которые рожают в 25 лет, достаточно высока всегда. Имела тренд к росту с 1998 года по 2014 год. Тут самое время вам прокомментировать ситуацию.
Доля девушек, которые рожают в 35 лет, имеет тред к росту с 1992 года и скорость роста с введением материнского капитала заметно выросла! Как раз у той самой группы, которая имеет больше всех возможностей к тому, чтобы реализовать полагающиеся им бонусы.

Кажется, влияние регуляторных факторов нужно искать где-то здесь.

Давайте ещё чуть-чуть про демографические взлёты и падения.

Сейчас давайте примем, что средний возраст женщина при рождении первого ребёнка - это 25 лет. Конечно, это не так. И это как-то меняется со временем. Но для наших целей не так важно.

На графике ниже приводится число рождений в России по годам. Красным отмечено "эхо войны". Это дети, внуки и правнуки тех людей, которые должны были родиться во время войны. Просто добавил 25 (50, 75) лет к годам Великой Отечественной войны. Видим яму в 5 лет и новый рост. Поколение за поколением. В более поздние периоды немного сглаживается, но эффект есть и очень сильный.

Светло-зелёным отмечен период, когда "заработал" материнский капитал и повысилась рождаемость. Светло-фиолетовым - годы рождений женщин, которые стали матерями в период появления материнского капитала.

Как видите никаких чудес нет. Есть только ожидаемый рост между двумя ямами.

Если бы у нас не было новых проблем, следующий рост рождаемости следовало ждать около 2033 года.

Очень хочется посмотреть на этот график, поругаться и сказать, что никак.

Дата-журналистика - это очень важное и интересное направление. Просто и быстро рассказать о сложной мысли - большое искусство. Искусство, которое оказывает большое влияние на мнение людей по множеству вопросов.

Давайте посмотрим на этот график внимательнее, не забыв про контекст.

У нас есть сложный демографический процесс, решение, которое принимают сотни тысяч людей. Понятно, что на рождаемость в масштабах страны влияют многие процессы, какие-то - сильно, какие-то - не очень.

Мы знаем, что финансовая уверенность - очень важный фактор для людей. С одной стороны, когда государство даёт деньги просто за рождение ребёнка - это большой плюс. С другой стороны, мы все знаем, что это не хрустящие наличные, выданные на руки. В любом случае, между решение и эффектом будет зазор во времени. Люди не сразу изменят своё поведение. И, совершенно точно, сначала будет решение, а потом эффект.

А ещё мы знаем, что существуют долгосрочные тренды. Грубо говоря, чем больше в обществе женщин в возрасте 22-28 лет, тем больше будет рождений детей. Статистика, бессердечная ты наука. А предсказать этот тренд в наших условиях достаточно просто: если у вас есть большая когорта девушек, которым сейчас по 18, можно смело предположить, что через 4 года у вас будет большая когорта девушек, которым по 22.

Что же мы видим на графике?
- сначала начался рост рождаемости, набрался тренд,
- потом появился материнский капитал,
- скорость роста после его появления не стала выше, скорее ниже
- тренд закончился, после него пошёл резкий спад,
- в момент спада никакие введённые дополнительные меры не помогли

Так себе картина выходит. Значит ли это, что материнский капитал не работает? Вообще-то нет. Всё, что мы увидели, лишь означает, что есть другой фактор, который влияет сильнее. Нет, не инфляция, нет, не индекс качества жизни. Удивительно, но это так называемое "эхо войны". Великой Отечественной, разумеется. Но этот фактор на графике нам решили не показывать. Если мы что-то знаем, если есть опыт работы с демографическими данными, то, возможно, что-то увидим. Если нет, то перед нами кофейная гуща, на которой можно построить любые выводы.

Как лучше показать те же данные? Использовать т.н. возрастные когорты, то есть людей, которые родились в одно и то же время. И показать коэффициент рождаемости для них. И тогда мы можем оценить, повысилась ли рождаемость у поколения 1990-1995 г.р. на фоне того, что самих представителей этого поколения стало меньше.

Это тоже не будет ответом. Мы просто учтём всего лишь один, пусть и очень важный фактор.

Дать взвешенный ответ на такой сложный вопрос сложно. А нарисовать график и написать заголовок - просто.

#мемасик

#мемасики

#мемасики
А у вас есть телевизор?

Интервью с Мишей Водолагиным вышло на хабре.
Текст немного отличается от версии на сайте. Исправлены опечатки, стиль речи стал чуть-чуть ближе к письменному.

Если есть возможность поставить там плюс - поставьте, пожалуйста.

Приятного чтения!

В этом есть определённая ценность (продолжение)

Теперь переходим к экспериментальной проверке индексов Инглхарта-Вельцеля.

1) Берём свежий датасет
2) Выкидываем из него всё, что не имеет непосредственного отношения к вопросам респондентов (даты опросов, уникальные ID, вспомогательные индексы)
3) Выкидываем вопросы, которые не связаны с ценностями (типа "Сколько вам лет" или "В какой стране родился ваш папа?")
4) Выкидываем вопросы, по которым строится индекс.
5) Поочерёдно обучаем семейство моделей линейной регрессии, в которых в качестве параметра есть только два индекса и больше ничего
6) В качестве цели ставим последовательно каждый из 356 оставшихся вопроса. То есть мы пытаемся предсказать ответы респондентов (и их систему ценностей) зная только их значения индексов.
7) В качестве метрик собираем основные метрики классификации (accuracy, precision, recall, f1).
8) Ну и дальше смотрим, что из этого получается.

А получается очень неплохо.
Есть группа метрик, где точность (и все остальные метрики) под 95%. Есть группа, где около 30%. По всем вопросам 42% вышло. Для двух чисел это очень неплохой результат на 356 вопросах! Понятно, что если добавить возраст, пол, страну, будет сильно лучше.

Для проверки проделал аналогичную серию прогнозов, только вместо 2 индексов, закинул в модель те 14 вопросов, на которых индекс строился. И получил точность 44,7% без потери по другим метрикам! То есть методология где-то по дороге съела почти 3% точности. Не мало!

В любом случае, это не просто очередные буквы и цифры. Это работает! И имеет очень неплохую предсказательную силу.

В этом есть определённая ценность (продолжение)

Силу индексов проверим, но не сразу.

Хочется не просто взять их "как есть", но и иметь возможность расширить выборку за счёт тех людей, ценностный портрет которых мне более-менее понятен. Не потому, что выборки маленькие. А потому, чтобы было на что равняться. Тогда особенности и явные косяки видны сразу.

Но расcчитать индексы самостоятельно оказалось не так просто!

Во-первых, переход от вопросов к индексам оказался достаточно сложным. Там сначала считается 6 промежуточных индексов, а на их основе - два финальных. В расчёте индексов активно используются magic-константы вроде 1.36 и 0.63, смысл которых не объясняется.

Во-вторых, итоговые веса коэффициентов неизвестны! Их каждый раз заново делает программа Statista. Алгоритм там детерминированный, то есть у всех на одних и тех же исходных данных должны получиться одни и те же коэффициенты, но какие - заранее неизвестно.

В-третьих, коды вопросов, от которых зависят индексы в методологии... устарели! Как минимум с пятой волны (2005-2009) вопросы в исходных данных кодируются не по той системе, что указана в документации.

Учёные с мировым именем, уважаемая организация, свои стандарты. Вроде нехорошо в чужой монастырь лезть со своим уставом. Но воспроизводимость индексов как минимум трудоёмкая.

Как быть? Я посмотрел, что нигде в методологии не используется ничего сложнее линейных методов. А линейные методы очень устойчивы к линейным преобразованиям 😎

Я просто взял датасет, обучил модель простейшей линейной регрессии по ответам предсказывать значения индексов. Очень быстро получил точность в 92%, которая меня вполне устроила. Вывел веса модели, и по ним нашёл 7 ключевых вопросов для каждого индекса!

Причём заняло это времени значительно меньше, чем предварительный разбор документации. Сколько пришлось бы потратить на полное воспроизведение авторского алгоритма, сказать сложно.

Ну вот почему так происходит?