Лекция про нейросетевое ранжирование в ШАД.

Сегодня в ШАД'е будет лекция про нейросетевое ранжирование! Содержимое — собранный по кусочкам пятилетний опыт работы с нейросетями для рекомендательных систем; чтения статей, экспериментов, внедрений:

1. Введение (recap ранжирования, проблемы градиентного бустинга, преимущества нейросетей, bitter lesson, проблемы нейросетей, эволюция ранжирования в pinterest)

2. Категориальные признаки (one hot кодирование и матрицы эмбеддингов, hashing trick и unified эмбеддинги, подбор размерностей, борьба с переобучением)

3. Вещественные признаки (log1p, sigmoid squashing, функция распределения, бинаризация, PLE)

4. Feature interaction layers (кросс-признаки, факторизационные машины, deepfm, dlrm, DCN, autoint, hiformer)

5. MLP, ResNet, DenseNet

6. Многозадачность (multi-task learning, negative transfer, mixture of experts, self-supervised learning, contrastive pre-training, knowledge distillation)

И на семинаре после лекции ребята посмотрят как это работает на практике.

P.S: Прикладываю кусочек лекции про категориальные признаки :)