Как научиться предсказывать что угодно? 🔮

На видео спикер рассказывает, что его команда научилась за три дня до расставания предсказывать, что девушка бросит парня.

Когда я впервые увидел это в трансляции, то понял только часть проблемы: спикер вообще не шарит, а команда решает странные задачи и пилит такие же фичи 😅 Тогда моего руководительского опыта не хватило, чтобы задуматься о процессах внутри компании — меня просто поразил уровень абсурда.

Причём настолько, что эта история догнала меня даже спустя семь лет.

Но сейчас, когда я строю собственную компанию, меня гораздо больше беспокоит другой вопрос: какие процессы внутри компании привели к тому, что топ-менеджмент рассказывает об этом на конференции как об успешном кейсе? 🤔

Начнём с самого кейса.

Пока я не пересмотрел видео, у меня были разные гипотезы о том, как они собрали целевую переменную:

— может быть, провели опрос?
— спарсили социальные сети?
— а как тогда собрали хард-негативные сэмплы?

Но нет.

Судя по видео, аналитики придумали сегмент на основе набора косвенных признаков.

С какой точностью этот сегмент отражал реальность?

Правильно: никто не знает 🙃

Дальше, вероятно, построили модель, которая научилась предсказывать эту синтетическую целевую переменную.

И здесь появляется ещё один уровень неопределённости.

Сначала мы с неизвестной точностью восстанавливаем целевую переменную по косвенным признакам. Затем с некоторой точностью обучаем модель предсказывать уже эту восстановленную переменную.

То есть модель предсказывает не само расставание, а предположение аналитиков о расставании.

На ошибку при создании таргета накладывается ошибка самой модели. Поэтому итоговое качество относительно реального события становится ещё менее понятным 🎯

Следующий вопрос: как проверяли лики?

Не протекли ли в модель те же признаки, на основе которых изначально восстановили целевую переменную? 🫠

Ну и самое интересное: как измерили эффект?

Никак.

Модель встроили в рекомендательную систему, в которой, судя по рассказу, нет прозрачно рассчитанного финансового эффекта 💸

Итак, рецепт, как научиться предсказывать что угодно:

1. Конструируете целевую переменную с неизвестной точностью.
2. Обучаете модель предсказывать этот синтетический таргет.
3. Получаете два слоя ошибки: в разметке и в самой модели.
4. Встраиваете модель в продукт, где невозможно оценить её эффект в деньгах.
5. Рассказываете об успешном кейсе на конференции.
6. Готово — вы великолепны! 🚀

Всё это звучит смешно ровно до того момента, пока вам самим не приходится собирать такие фантастические сегменты и обучать на них модели.

Напишите в комментариях, если знаете достоверный источник данных для такого сегмента. Особенно интересно, где взять качественные хард-негативные сэмплы 👇