📱 Как YouTube решает, что тебе показать? —Рекомендательные системы в бизнесе

Задача рекомендаций занимает важное место как в YouTube, так в Яндекс.Музыке, на Wildberries, и даже в Яндекс.Такси. А решается она именно с помощью машинного обучения.

Рекомендательные системы являются одной из самых широких сфер применения ML. Как вы думаете - почему так? Ответы ждём в комментариях. 👇

Специфика бизнес-задачи - огромный объем данных о пользователях и контенте, множество критериев от лайков до геолокации, необходимость работать быстро в реальном времени.

Метрики качества - CTR (кликабельность), Watch Time, User Retention (возвращение пользователя), Engagement (вовлечённость - лайки, комменты и тд), Diversity (разнообразие рекомендаций).

Способы ML решений:
🔹Коллаборативная фильтрация — анализируют поведение похожих пользователей и рекомендуют, что понравилось им.Пример моделей: Matrix Factorization (ALS, SVD).
🔹Контентный анализ — изучают характеристики айтема (теги, заголовки, описание) и подбирают похожие. Пример моделей: TF-IDF, BERT, Мультимодальные модели.
🔹Более сложные - гибридные модели, модель обученные на последовательностях, модели с онлайн-обновлением.

Потенциальные сложности, которые нужно решить разработчику ML:
1️⃣ Холодный старт — как рекомендовать, если нет данных о новом пользователе или новом видео?
2️⃣ Обработка огромных данных в реальном времени — миллионы пользователей, миллионы видео и постоянные обновления.
3️⃣ Баланс между новизной и релевантностью — не показывать только популярное, но и давать шанс новым видео.
4️⃣ Избежание фильтров пузырей — чтобы не ограничивать пользователя только одним типом контента.
5️⃣ Этичные вопросы — не усиливать токсичный или вредный контент.
〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex