❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе

Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».

🔍 Как обнаружить

Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.

🛠 Методы смягчения

• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.

• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.

• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.

⚠️ Важно

• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.

• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.

Библиотека собеса по Data Science