TLDR доклада "Как в яндексе делают ранжирование нейросетками в RecSys?"
1. Категориальные фичи кодируют эмбедингами
2. Вещественные фичи нормализуют / делают улучшенную бинаризацию (называют кусочно-линейным кодированием)
3. Используют один слой DCN, чтобы моделировать комбинации признаков
4. Затем 5 MLP слоев и дропаут
5. Добавляют на вход фичи с других моделей по пользователю (например, у них есть трансформер, который делает вектор пользователя по его истории)
6. Делаю несколько голов на несколько действий пользователя (клик, просмотр и тд.)
7. Кормят много данных с большим бачсайзом
8. Лосс на попарное ранжирование (сигмоида от разности логитов двух айтемов)
Post #112
2.01K
- 👍 11
- 🍌 3
- 🔥 2
- 😢 1
- 👀 1