GoPractice написали короткую, но симпатичную статью про uplift-моделирование в предсказаниях оттока. Бизнес-смысл передан вполне доступно, а желающие технически подробностей могут посмотреть курс на ODS.

Вообще, предсказание оттока в геймдеве достаточно специфичная задача. Почему-то больше всего говорят о ней wannabe-аналитики и соискатели на собесах, когда рассказывают, какой бы ml они хотели делать. Лично в моей практике полезнее даже не исследования оттока, а более точечный анализ отвалов (на каком уровне/локации/лиге) на старте игры.

Прогнозирование оттока лояльной аудитории натыкается на сразу несколько критически важных моментов. Во-первых, в какой момент мы начинаем считать пользователя ушедшим. Во-вторых, обычно пользователь сам не знает, что он уже начал отваливаться и спрашивать его об этом бесполезно. В-третьих, нам в первую очередь важно поведение лояльной платящей аудитории, а ее не так чтобы много на самом деле. Все это затрудняет построение качественных моделей. Может быть, кто-то научился предсказывать отток хорошо, но я склонен считать неудачными и свои попытки, и попытки более опытных в ml коллег. А для uplift-моделирования желательно собрать две хорошие прогностические модели.

Есть еще и содержательная сложность — на мой взгляд, пытаться делать программы удержания отваливающихся лояльных пользователей практически бесполезно. Если пользователь долго играет и еще не платил, то горы харды его не спровоцируют на платеж. А если платящий пользователь решил уйти — причина его ухода лежит в игре и механические решения по удержанию будут по большей части паллиативными. И выгода от программ удержания в целом может быть ниже инфраструктурных издержек на создание ml-модели и ее поддержку.

Поэтому мне более интересным представляется исследование причин оттока — что изменилось, что говорят и думают киты об игре и недавних изменениях, как меняется поведение лояльной аудитории (а суперкиты в норме могут заходить каждый день) и т. д. Притом такое исследование может включать и построение прогностических моделей, но в них акцент надо делать больше на коэффициентах и предикторах, чем на качестве.