Лекция про нейросетевую генерацию кандидатов в ШАД.

Сегодня будет уже вторая лекция в ШАД’е про нейросети в рекомендательных системах — на этот раз про нейросетевой кандген. На эту лекцию ушло где-то в три раза больше времени, чем на прошлую:

1. Введение (идеальная рексистема, многостадийность, минусы классических кандгенов)

2. Двухбашенные модели (позднее связывание, семантическое пространство, информационный ботлнек и низкоранговое разложение матрицы релевантностей)

3. На что учить нейросетевой кандген (recap ранжирования, folding, softmax model, проблема полного софтмакса, сэмплированный софтмакс, равномерные негативы, in-batch негативы, logq-коррекция, альтернативные лоссы)

4. Функции похожести (скалярное произведение и почему оно выучивает популярности, косинус, температура)

5. Согласованность с ранжированием (рекомендации как RL, взгляд на многостадийность через RL)

6. Айтемные башни (обучаемые эмбеддинги и их минусы, мешок слов, inductive bias, контентное кодирование, тяжелые хвосты)

7. Пользовательские башни (почему не подходят обучаемые эмбеддинги, average pooling, трансформеры, next item prediction)

И к лекции идет семинар, на котором ребята обучат трансформер над историей пользователя (и даже сделают logQ-коррекцию!).

Прикладываю кусочек лекции про logQ-коррекцию :)

P.S: слайды лекции, как и в прошлый раз, вечером скину.