Deep RecSys Course IV.

1. На четвертой неделе курса мы продолжили обсуждение двухбашенных моделей и нейросетевой генерации кандидатов.
Если на прошлом занятии речь шла про базовую архитектуру и обучение двухбашенных моделей, то в этот раз детально разбрали архитектуру башен:

* Обучаемые эмбеддинги, плюсы и минусы
* Контентное кодирование и inductive bias
* Unsupervised representation learning как альтернатива для выучивания векторных представлений
* Методы кодирования пользователей

Также немного поговорили про методы нейросетевого кандгена, которые выходят за рамки двухбашенных моделей — multi-interest модели, mixture of logits, generative retrieval.

Получилось за две лекции рассказать всю базу про нейросетевой кандген, за исключением деталей про трансформеры и генеративный ретривал. Но про них будут отдельные лекции. Для сравнения, в прошлом году в ШАДе была всего одна сжатая лекция про нейросетевой кандген (слайды). Я уставший, но довольный :)

2. На семинаре Артём Матвеев рассказывал про практические аспекты обучения нейросетевых моделей для рекомендаций — какими инструментами для обучения мы пользуемся, на какие принципы опираемся и какой код пишем.

Артём, кстати, для семинара написал целый небольшой фреймворк для обучения нейросетей, который переиспользует многие наши лучшие практики, к которым мы пришли когда делали последнюю итерацию внутреннего яндексового фреймворка. На гитхабе код тоже есть.

Github | YouTube

P.S: суммарное время просмотра курса на ютубе — уже 400 часов. Это можно было бы один раз почти весь One Piece посмотреть :)