#analyze

Виктор Тарнавский о том, как BigData помогает в предсказании вероятности покупки
Задачи:
— больше узнать о пользователях
— пути до покупки
— эффективные каналы

Попробовали кастомные модели атрибуции:
— затухающая по времени с различными весами каналов
— линейная на основе поведения пользователей (на основе поведенческих атрибутов)

bit.ly/ch_webinar

как результат:
очень круто, но не понятно как использовать эти модели атрибуции

Потом попробовали пересечение аудитории продуктов, но тоже не вышло, хотя и много полезных инвайтов

А теперь, предсказания покупки:

- Берем Scoring с разными группами поведения (хорошие, плохие)
- Понимаем аудиторию
- Оптимизация рекламы с использованием сегментов

И берем machine learning для того, чтобы все это сделать:
- важна чистота данных
- потом строим модель
- production process


Инструменты:
- logs api (raw data для всего периода, без ограничения)
- clickhouse (СУБД для OLAP сценариев для аналитикических задач - open source, быстрая, sql)
- алгоритм машинного обучения для построения классификатора

Дальше собираем пользовательские характеристики пользователей и поведенческие и загоняем в модель, и должен получиться хороший результат,
и модель сказала:
— число дней с последнего визита
— число дней с первого визита
— доход
— среднее время на сайт
— средняя глубина
и так далее


Машинное обучение:
— Логистическая регрессия
— Random forest (деревья принятия решений)


Обучаем модели:
— метрика AUC ROC (определение насколько модель не врет)
— hold-out (отложенная выборка, разбиваем на две части большую и меньшую, на одно обучаем, на второй проверяем)
— кросс валидация (разбиваем выборку на разны блоки и оцениваем каждый блок)

После всего этого, применяем модель на базе реальных покупок и получили хороший результат:

— Выяснили, что 80% людей в принципе не готовы покупать.
— А потом разбили на 4 группы в зависимости от вероятности покупок.
— Потом грузим для каждого пользователя характеристику вероятности для каждого пользователя.

А потом, делаем с этим что хотим:
— ремаркетинг
— adwords/директ/facebook
— колл-центр
— bid adjustments
— эксперименты


в целом, доход вырос в два раза, конверсия на 30% (круть!) в ремаркетинге и рся