Deep RecSys Course VII.

Преодолели экватор курса!

Я уже, конечно, знатно подустал, столько лекций делать. Подготовка каждой лекции занимает до четырех фулл-тайм дней даже при условии, что я далеко не все лекции делаю с нуля. Набросать структуру лекции, расписать текстовый скрипт о чем буду говорить (это, по сути, подготовка главы для книги), изучить материал и доуточнить содержимое (пройтись по старым и новым статьям), сделать скелет презентации, добавить иллюстрации и ссылки.

К счастью сейчас будет небольшой перерыв на пару недель, после следующей лекции. Планирую посетить Японию :)

Вышло седьмое занятие про трансформеры и анализ истории пользователя. Успели покрыть:
1. Ранжирование (DIN, BST, TransAct, OneTrans, MixFormer)
2. Кандген/representation learning (SASRec, BERT4Rec, PinnerFormer)
3. И еще был небольшой recap механизма внимания и трансформеров в начале лекции

В лекции должна была быть и четвертая часть, в которой я рассказываю про свои похождения в Яндексе — различные трансформерные модели и архитектуры, которыми мы занимались с командой. Но её не успели, осталось на следующий раз.

На семинаре Владимир Байкалов разбирал статьи про моделирование пользователей в Пинтересте — PinnerFormer и TransAct (да-да, там есть и более свежие статьи, но они скорее относятся к поздним лекциям курса; в учебных целях было полезно разобрать именно эти модели).

YouTube | Github.