🤨 BERT в RecSys и Ранжировании? Шта??

А вот так, давайте разбираться что к чему. Что из себя представляют товары на маркетплейсе? Для простоты, давайте разберем только текстовый аспект: это заголовок, описание, какие-то характеристики, отзывы, название бренда, производителя и др...

☺️ Что из себя представляет BERT? Это энкодер (фото 1), на вход которому мы подаем некоторую последовательность. А что если у нас есть две последовательности, которые мы хотим сравнить между собой? Например: аналогичны ли эти последовательности (задача дедупликации, задача поиска аналогов, задача подбора релевантного товара...)

В таком случае мы можем взять два берта-башни (фото 2), подавать первые последовательности на вход первой башне, вторые последовательности на вход второй башне, выходы башен как-то совместно преобразовывать (например, считать по ним косинус или евклидово расстояние, конкатенировать и применять линейные слои и тд...) и по результату преобразования считать лосс. Таким образом, мы "сближаем" похожие элементы, обучая башни максимизировать скоры похожих элементов и минимизировать скоры непохожих. В качестве таргета можем взять бинарную величину (0 - элементы непохожи, 1 - элементы похожи, BCE Loss).

☺️ Что же касается самих башен, то явным плюсом такого подхода является возможность получать векторные представления из левой и правой башен, например: если мы решали задачу поиска релевантных товаров для пользователя, то первая башня будет давать нам возможность получать эмбеддинги пользователей, а вторая - эмбеддинги товаров. Таким образом, в процессе решения одной задачи мы получили мощные заготовки, которые в перспеткиве дадут возможность решать задачи сегментации клиентов, сегментации товаров, также эти эмбеддинги и различные преобразования над ними послужат отличными фичами (например, в бустингах) в рамках других задач.

Важно отметить, что башен может быть и две, и три, и десять. Например, вы хотите не просто найти релевантный товар для пользователя, а сразу пару релевантных товаров. Тогда, как вариант, заиспользовать Башню пользователя, Башню товара №1 и Башню товара №2. Вобщем, фантазия здесь безграничная.

🔥 В дополнение к рассказу прикрепляю оригинальную статью про SplitBert. Приятного изучения!