💩 Как улучшить F1-micro и насрать рекламодателю — в прямом смысле

Вас тоже бесит, когда вы ищете один товар, а рекламный алгоритм настойчиво подсовывает совсем другой? Обычно мы видим эту проблему со стороны пользователя. А сейчас покажу, как она выглядит со стороны рекламодателя, которому алгоритм привёл совсем не тех пользователей.

В @mirabistro нет-нет да заходят люди исключительно ради туалета. Мы находимся в центре, пешеходный трафик огромный. Я думал, что это неизбежные издержки локации. Туалет у нас — комплиментарная услуга для гостей.

👀 Неделю назад сижу в бистро и наблюдаю: заходит человек и сразу направляется в туалет.

У этого сегмента, кстати, есть устойчивый поведенческий паттерн. Они закрывают не только дверь туалета, но и дверь в зону с раковиной. Как будто пришли не руки помыть, а помыться целиком.

Через минуту заходит второй.

Два одинаковых события подряд меня уже насторожили.

💡 И тут меня осенило: дело в таргетинге.

📈 Недавно я купил продвижение в одном картографическом сервисе. Как аналитик, первым делом полез смотреть, как люди находят бистро и по каким запросам переходят в карточку.

Среди запросов был «туалет», хотя мы вообще-то кафе.

Давайте разберёмся, что пошло не так при обучении поискового алгоритма. Достоверно я этого не знаю, но с большой вероятностью — всё было именно так.

1️⃣ Поставили цель на квартал выбить XX% по F1-micro.
2️⃣ В датасет поискового движка долили запросы про туалеты.
3️⃣ Кафе, в которых есть туалет, разметили как релевантные ответы — то есть на уровне таргета фактически приравняли кафе к туалету.
4️⃣ При micro-усреднении все true positive складываются в общую копилку, поэтому новая категория помогла вытянуть итоговый F1

Классический случай: офлайн-метрику оптимизировали, заборы успешно покрасили, менеджеры получили бонусы, а на рекламодателей оказалось насрать — в прямом смысле слова, но хотя бы чужими силами.

😆 Публиковать статистику сервиса я не хотел, но 8% туалетного трафика это уже не смешно.