TGViewer
Channel Public Channel
Red RecSys

Red RecSys

@redrecsys

RecSys и все что связано: ML, DL, карьера, open-source
Subscribers
1.22K
Photos
22
Videos
1
Links
31

Showing posts older than #36 · Back to latest

Older Posts 16 shown
Post #35 3.36K
Джентельменский набор RecSys статей на начало 2026

Не первый раз меня спрашивают – какой сейчас актуальный пул статей, достаточный для того, чтобы «быть в теме» и «проходить собесы». Моя личная подборка такая:

SASRec
Основа основ, не уходящая с наших слайдов на конференциях
Turning Dross into Gold Loss
SASRec+ Sampled Softmax. Непобедимая SOTA Amazon датасетов и по сей день (но в тексте статьи вы этого не найдёте, можно почитать в eSASRec)
Unified Embeddings
Элегантный и распространённый в индустрии подход для решения проблемы раздутых матриц эмбеддингов для много-миллионных каталогов и большого количества фичей
Sampling-Bias-Corrected Neural Modeling
В деталях опиcывают LogQ коррекцию - незаменимый индустриальный подход при использовании in-batch негативов в обучении (после неё можно почитать Correcting the LogQ Correction)
PinnerFormer
Уже не must-have, но всё ещё классика. Как SASRec адаптировался в индустрии. Pinterest научил нас, что предсказывать можно не только следующий айтем, но и более отдалённый из будущего, и описал свой итоговый рецепт обучения – в том числе с Mixed негативами и LogQ коррекцией.
TransAct
Нейросетевых ранкеров есть большое количество. Здесь описывают вариант от Pinterest времён 2023 под именем Pinnability. Обрабатывают оффлайн (PinnerFormer) и рантайм (TransAct) историю пользователя + фичи пользователя, сверху шапка из DNC-V2 и несколько голов на бинарные таргеты. TransAct использует раннее связывание.
Actions…
Забудьте про чередование токенов - от него откажутся. Забудьте архитектуру HSTU - это не серебряная пуля. Главное здесь – подход к отказу от ручных вещей через масштабирование модели над последовательностями действий пользователей. И само выделение сущностей Item и Action (к ним позже добавится Context). Ещё есть полезная история с инференсом сразу пачки кандидатов target-aware ранкером с помощью кастомной маски внимания. И здесь же хорошо описан общий индустриальный подход Deep Learning Ranking Models.
Argus
Адаптация и развитие идей Actions… в Яндексе. Мы уже не используем feedback prediction в претрейне, но Argus остаётся ключевой технологией в кандгене и ранжировании. А ещё, если я не ошибаюсь, это единственная статья с авторегрессивным двухбашенным ранкером.
Generative Retrieval
Они показали нам Semantic Ids в RecSys. Дали дорогу для одностадийных рексистем (см OneRec). Открыли прямой путь для рекомендаций LLM-ками (см PLUM). И чуть позже (в Better Generalization…) показали профит от использования семантиков фичами в ранжировании.
QARM
Перед заведением Semantic Ids нужно получить сами эмбеддинги для квантизации – и от их качества зависит успех всей затеи. Дообучение на item-item пары массово используется в индустрии для формирования контентно-коллаборативных эмбеддингов с целью их дальнейшей квантизации в семантики. И впервые его описали в QARM.
OneRec
Вы уже видели что-то про One… в каждом RecSys канале, на который только подписаны.
PLUM
LLM генерирует рекомендации. По-настоящему, в индустриальном сеттинге. В Google. Must-read. Такой же рецепт описан в OneRec-Think

Этого списка хватит и для общения со специалистами, и для собесов.

Насколько больше мы читаем в работе? Сейчас выходит около 5 актуальных мне статей каждую неделю. Из них минимум 1 от Kuaishou, и если эти ребята не остановятся в приростах своих App Stay Time, китайские подростки вообще перестанут спать.
  • ❤ 25
  • 🔥 15
  • 👍 11
  • 🫡 2
  • 🦄 2
Post #34 1.87K
Ищу сильных ребят в команду 🫶

Моя команда занимается несколькими направлениями RnD в RecSys:
- семантическое моделирование (semantic ids, generative retrieval, файнтюн LLM, межкомандный проект OneRec)
- фундаментальные модели (объединение и алайн данных нескольких доменов, обучение единой модели для нескольких даунстрим задач)

Наша цель - проработка новых технологий. Мы много читаем и анализируем литературу, пишем свои имплементации, непрерывно экспериментируем - и оцениваем успех по результатам внедрений в ключевые рекомендательные системы Яндекса.

Мне лично очень нравится активный обмен опытом внутри службы - это один из моих любимых аспектов работы здесь. Невозможно самим ресёрчить сразу все современные подходы к рекомендациям, но можно вкладываться в парочку, а об успехах в остальных сферах во всех деталях расскажут соседние команды. (Больше вакансий в службе в посте Коли)

Я ищу кандидатов с:
1. сильным бэкграундом в DL (в любом направлении CV/NLP/RecSys)
2. осознанным желанием максимально закопаться в современные архитектуры, в том числе в условиях отсутствия готовых рецептов успеха

Активно ищу senior. Также пообщаюсь с талантливыми ребятами с меньшим опытом, но прозрачными достижениями (публикации, олимпиады, соревнования, etc.)
Пишите @blondered
  • 🔥 16
  • ❤ 9
  • 🙊 1
Post #33 1.92K
К моменту, когда Витя Кантор предложил записать с ним подкаст, я уже перестала удивляться - 2025 год был полон самых разных поворотов.

В первой части:
- зачем вкладываться в open source и мой опыт мейнтейнером
- про работу над собой и важность сильного ментора
- зачем делать доп активности и помогают ли они потом на собеседованиях
- как публиковаться, не будучи в академии

И немного про то, чем мы с командой сейчас занимаемся в Яндексе)
YouTube Не было ни одной причины не заняться RecTools | Дарья Тихонович часть 1 Дарья Тихонович – Staff DL инженер и лид в Яндексе RecSys RnD, ранее — лид направления нейросетевых рекомендаций в МТС. Мейнтейнер open-source фреймворка RecTools для рекомендательных систем, спикер профильных митапов и конференций, преподаватель и активный…
  • 🔥 30
  • ⚡ 8
  • ❤ 5
  • 👏 1
Post #32 2.44K
Мой 2025

У меня долгое время в карьере был очень прозрачный путь, который я сама себе составляла. Проекты, которые я хотела развивать. Ступеньки, по которым планировала подниматься. Области, которые изучала. Я в целом всегда видела, какой шаг делать следующим, и что за ним должно произойти.

Но в этом году было чувство, что одновременно выстрелило всё, во что я долгое время вкладывалась. Непредсказуемо. Ко мне приходили люди с фидбеком, вопросами, предложением совместных проектов, да и просто пообщаться. С кем-то нас объединяют общие интересы, а у кого-то я годами училась важным для меня вещам.

Кто-то - вы - подписался на мой канал. Здорово)

Со сменой компании 2025 стал годом максимального выхода из зоны комфорта - не то чтобы я до этого в ней прохлаждалась. Но тут был период, когда в голову нужно было вложить огромное количество новых знаний, контекстов, кода, архитектур, статей, инструментов. Ощущения как во время сессии, но на пару-тройку месяцев кряду. Если вам кажется, что в канале последнее время сахарно и сплошь фоточки - это мой способ компенсации хардовых будней. Когда в канале были сплошь статьи - будни были с логами и докой по яндексоидному варианту SQL. Балансирую)

Но кому вообще нужны челленджи, если у них нет своих совершенно прекрасных моментов) Выход в Яндекс дал множество новых знакомств с очень талантливыми людьми. Сказать, что я у учусь у них каждый день - ни разу не будет преувеличением. Ребят, вы очень крутые!

Сейчас я переключилась с IC на лида, снова работаю с командой 🎉. Задач стало больше, многое хочется попробовать, следующий год обещает быть безумно интересным!

Чем еще запомнился 2025:
- Здорово покатались службой на картинге перед НГ
- Добралась с Эмилем до очень душевного концерта
- Научила старшего сына играть в Эверделл, составлять таблицу умножения и степеням двойки вплоть до 10. По его просьбам. Моё сердце тут тает, конечно

Хороший был год) С наступающим! 🎄🎁
  • ❤ 37
  • 🎄 17
  • 🔥 10
  • 👍 1
  • 🤯 1
Post #29 2.76K
Get things done

После многих часов перед экраном, с кодом, логами экспериментов и текстами статей.

Пройдя с командой долгий путь проверки гипотез, большая часть которых обычно заканчивается ничем.

Перетерпев процесс ревью, где вообще неясно, будет ли шанс на публикацию.

Приятно просто посмотреть на фоточки с митапа, где получилось презентовать результаты и пообщаться с коммьюнити.

И выдохнуть перед тем, как вернуться к экрану, с кодом, логами… Проходить с командой… Вы поняли)

Люблю митапы)

Вообще чем больше оглядываюсь на свой путь, тем больше вижу, что навык сослуживший мне наилучшую службу в ML – это отказ сдаваться. То самое “get things done”. Не останавливаться, когда что-то не выходит с полпинка. Ничто стоящее вообще никогда не выходит с полпинка.
  • 🔥 31
  • ❤ 14
  • 👍 11
  • 👏 3
  • 🤮 1
Post #27 2.4K
Мне очень нравятся вот эти камерные рексис митапы, смешивающие доклады из академии и индустрии.

По большей части мы и так друг друга знаем, и статьи из докладов друг у друга давно прочитали. Здесь меньше пиара и больше ощущения того, что собрались люди, глубоко увлеченные общей темой - просто пообщаться.

С такой атмосферой проходят две регулярных конференции. Одна от Сбера, на которой я выступала сегодня. И вторая от Вышки. Обе очень душевные.

Презентацию с выступления выкладываю
  • ❤ 25
  • 🔥 13
Post #26 2.37K
2 месяца в Яндексе - Ведущим разработчиком в RecSys RnD.

Делюсь.

Переход с лида на Staff IC (individual contributor). В МТС я год успела побыть лидом, балансируя между проектированием кусочков рекомендательной платформы, управлением командой, долей кодинга и постоянным код ревью. А в Яндекс вышла на сильно отличающуюся роль - ведущим разработчиком вне команды на отдельное направление в RnD - работать руками, искать рецепты, запускать экспы, взаимодействовать с людьми, и как и раньше - отвечать за результат от и до. Контраст разительный. За эти пару месяцев чётко поняла, что увлечённые люди драйвят меня больше, чем амбициозные задачи сами по себе, а внекомандная работа - это отдельный вид челленджа. Но сейчас моё соло-положение меняется.

Служба рекомендательных технологий. Сегодня в Яндексе уже не одна команда занимается RnD в области RecSys, и у каждой своё направление ресёрча. Есть много взаимодействий, разборы как последних статей, так и свежих результатов экспериментов. Объём информации зашкаливающий) Интересно - невероятно. Люди очень талантливые, многих можно встретить авторами в канале Рекомендательной. Руководит службой Коля.

Собесы. В МТС я в своё время залетела джуном с первой же попытки выхода на рынок. Никогда не следовала правилу "ходи на собесы, чтобы уметь их проходить". Как и правилу "ботай алгоритмы, пригодятся". И на совет "сходи хотя бы сейчас в другие компании потренируйся" я тоже забила - проходила в Яндекс без тренировки. Почему такая стратегия может работать и как я готовилась - напишу в отдельном посте. В другие компании тоже потом пробовалась и рассматривала. Вообще после собесов и летних митапов у меня очень чёткое понимание, насколько у нас плотная RecSys тусовка и насколько хорошо все друг друга знают.

Текущие проекты. Про цели и задачи не люблю рассказывать до того, как они начнут по-настоящему хорошо получаться, так что тут stay tuned.
  • ❤ 37
  • 👍 17
  • 🔥 12
  • 🎄 2
  • 👏 1
  • 🤯 1
Post #25 2.16K
Пост к 400 ⭐ RecTools. Опен-сорсные истории: "никогда не ешьте не делайте проекты в одиночку"

Рассказав про моих фантастических EX-стажёров и про нескольких известных людей из МТС, я просто не могу промолчать ещё об одном человеке. Вообще не раз скажу, что больше всего меня в работе вдохновляют люди. Сегодня - про Эмиля.

Эмиль - первый мейнтейнер RecTools и один из его ключевых разработчиков. Менторил меня с моего прихода в МТС и до его переезда в Германию. В начале я бралась развивать фреймворк ровно для того, чтобы продолжать с ним работать - и продолжать у него учиться. Творческую часть развития фреймворка, амбициозный бэклог, хайповые релизы и митапы-публикации как мотивацию я подтянула уже позже.

За несколько лет мы проревьюили и вмерджили не меньше сотни взаимных PR. За всё время был всего один раз, когда я смогла серьёзно оптимизировать его код. И всего один раз, когда он сказал “это настолько круто, что я готов закрыть глаза на 1,2,3,5,6, давай релизить даже без фиксов” (HSTU с Лёшей затащили 😎, а про 6 пунктов не шутка). Думаю, можно понять, что именно это человек научил меня кодить так, чтобы было потом не стыдно.

ML может казаться очень индивидуальной областью. Нужно знать 1001 вещь, постоянно качать харды, изучать новые подходы, инструменты и архитектуры, строить личную карьеру.

Но карьера лучше всего строится на больших проектах, которыми не стыдно потом поделиться с коммьюнити. А такие просто невозможно затащить в одиночку. Лучший совет, который мне повезло не пропустить мимо ушей в своё время - не делать проекты в одиночку, потому что это лишает возможности учиться у других (и в работе с другими). Совет был Юрин.
  • 🔥 13
  • ❤ 4
  • 👍 3
  • 💯 3
Post #24 2.16K
Успешные внедрения LLM-based кандидато-генерации. LinkedIn и AliBaba.

Google и Kuaishou в буквальном смысле научили LLM "говорить" на языке айтемов прикладных доменов, используя Semantic IDs. В свою очередь, LinkedIn ("Large Scale Retrieval...") и AliBaba (RecGPT) предлагают менее революционные подходы, но тоже внедряют LLM-кандидато-генерацию в прод и репортят приросты в А/Б.

Общее в подходах LinkedIn и AliBaba: Текстовое представление айтемов вместо Semantic IDs.

Айтемы подаются в LLM в виде текстового описания имеющихся у них фичей (LinkedIn ещё и счётчики популярности добавляет). Пользовательская история - в виде текстового описания фичей пользователя и истории его позитивных взаимодействий.

Что делает LinkedIn:

1. Берут идею классического двух-башенного DL кандидато-генератора и заменяют 2 отдельные башни на общую LLM. При этом оставляют обычную постановку - научиться строить эмбеддинги юзеров и айтемов, сближая их по коллаборативному сигналу через привычный contrastive loss. В целом это почти всё)

2. Вместо обучения с нуля делают файнтюн предобученной LLM. На входе тексты, на выходе - эмбеддингов айтемов/юзеров. Для перехода от эмбеддингов токенов на выходе LLM к финальным эмбеддингам юзеров и айтемов используют mean pooling. Близость айтема и юзера оценивают по косинусу

3. Учатся на InfoNCE лосс: на каждый позитив помимо In-Batch негативов берут 2 Hard Negatives - используют айтемы, которе юзер видел в своей ленте, но с которыми он не сделал положительных взаимодействий, они же impressions.

4. Используют Matryoshka learning для сжатия размера финальных эмбеддингов. Показывают, что использование для инференса эмбеддингов размерности 512 не влияет на recall по сравнению с оригинальным 3072 в выбранной ими модели LLaMA-3 3B.

Что делает AliBaba:

1. Используют последовательность из нескольких LLM, каждая из которых дообучается на конкретную задачу, но финальные рекомендации будет строить не-LLM.

2. Первая LLM получает на вход историю действий пользователя. Она майнит такую историю и вытаскивает из неё долгосрочные и краткосрочные "интересы" пользователя - в виде текстовых описаний.

3. Вторая LLM получает замайненные "интересы" и описание краткосрочной истории пользователя и делает предсказания "тегов". В данном случае "тег" это текстовое описание следующего айтема, соответствующее определённой структуре и имеющееся в заранее заданной коллекции. Языковая модель здесь предсказывает на основе своего знания о мире, не используя коллаборативные сигналы из данных сервиса.

4. Предсказанные текстовые "теги" товаров трансформируются в рекомендации товаров следующей моделью - уже не LLM. Используется трёхбашенная Айтем-Юзер-Тег модель со стандартными входами для башен в виде фичей и текстов. Модель училась сближать позитивные пары юзер-айтем и айтем-тег, используя contrastive лоссы на коллаборативных сигналах.

5. Инференс. Эмбеддинги юзера и предсказанного "тега" на выходе соответствующих башен сводятся в один - простой линейной комбинацией с заданным коэффициентом. Этот вектор используется для поиска ближайших векторов айтемов, которые и станут кандидатами для рекомендаций пользователю.

Заметки на полях:
- Для LinkedIn текстовое представление айтемов по сути является максимально нативным, так что тут мог сработать именно этот матч. Не факт, что такой простой переход на LLM-башенную модель даст ощутимые приросты в других доменах.
- Во всех 4 статьях прослеживается проблема ограничения длины пользовательских историй, которые удаётся подать в LLM. Майнинг интересов от AliBaba - по сути ориентирован на это, он расширяет краткосрочную историю действий сжатой информацией, которую удалось выцепить из более длинной истории. Но и длинная история очень ограничена.
- Про RecGPT от AliBaba есть разбор у Коли
  • 👍 13
  • ❤ 2
  • 🔥 1
Post #23 2.25K
Успешные внедрения LLM-based кандидато-генерации. Google и Kuaishou.

Следующая хайповая RecSys тема после end-2-end генеративных моделей - это LLM-based рекомендательные движки. Недавно появились сразу 3 статьи от топовых игроков с успешными результатами в A/B от внедрения дообученных LLM: OneRec-Think от Kuaishou, PLUM от Google (внедрение в Youtube) и "Large Scale Retrieval…" от LinkedIn. И до этого в июле был тех репорт RecGPT от AliBaba.

Я не буду разбирать подробно каждую статью и зарываться в технику. Интересно именно выделять общие тенденции, чтобы понимать, куда движется индустрия. Начнём с Google и Kuaishou.

Общее в подходах:

1. Старт с предобученной LLM. Google берёт Gemini-1.5-MoE-900M. Kuaishou Qwen-8B.

2. Семантические ID для айтемов (SIDs). Обе компании используют семантические ID как главное представление айтемов для модели. Для построения SIDs в обоих случаях используют как мульти-модальные контентные эмбеддинги айтемов, так и коллаборативный сигнал из сервиса. Cервис в обоих случаях - видео платформа.

3. Алайнмент семантических ID и языковых токенов на этапе претрейна. Словарь LLM расширяется, чтобы включать себя каталог семантических ID айтемов. Для того, чтобы новые токены обрели свой смысл в исходном семантическом пространстве LLM, модель дообучается на задаче Next Token Prediction на текстах, описывающих как поведение действий пользователей, так и сам каталог сервиса. "Поведенческие" тексты интегрируют SIDs в текстовое описание действий пользователя. Пример: "Пользователь <с такими фичами> лайкнул видео <SID-1><SID-2><SID-3> с заголовком <заголовок> и видео … с заголовком …". Помимо "поведенческих" примеров претрейн модели у обеих компаний включает в себя задачу предсказания текстового описания айтема на основе его SIDs.

4. На некотором этапе (Kuauishou во второй стадии претрейна, Google в файнтюне) модель обучают предсказывать семантические ID айтема, который стоит порекомендовать пользователю на основе истории его действий. Это уже полностью отвечает той задаче, которую решают современные рекомендательные трансформеры над пользовательскими историями, и тут дообученная LLM полностью их заменяет. Инференс аналогичен TIGER - последовательная генерация SIDs, beam search.

Подходы настолько похожи, что формируется некоторое общее очертание рабочего рецепта.

Отличия в подходах:

1. Kuaishou весь файнтюн посвящает ризонингу. Модель учат формулировать обоснование, почему пользователь после заданной истории взаимодействовал с конкретным айтемом. Генерация обоснований нужна для улучшения качества самих рекомендаций, по аналогии с рассуждающими LLM.

2. Kuaishou внедряет модель в оффлайне как раз из-за вычислительной сложности ризонинга. Рассуждающая модель в оффлайне генерирует несколько возможных траекторий (reasoning path) пользователя, и для каждой траектории - несколько возможных префиксов из 2-х SIDs. Финальный сет всех возможных префиксов затем используется рантаймовой OneRec моделью для генерации итоговых рекомендаций. Поскольку OneRec является end-2-end движком, стадии ранжирования дальше не следует, генерируются именно финальные рекомендации.

3. Google на этапе файнтюна учит именно предсказание будущих айтемов для пользователя, учитывает рантаймовый контекст в промте. Пишут, что модель внедрили и в оффлайне, и в рантайме.

Заметки на полях:
- Количество dense параметров в трансформере у PLUM в 100 раз больше, чем у продового трансформера Youtube над пользовательской историей.
- Kuaishou на примере доказывает полезность модели в сценарии диалога с пользователем. Здесь уже намечается персонализированный ассистент по рекомендациям, но пока о внедрении речи нет.
- Google (как и LinkedIn) подчёркивает, что подобные архитектуры можно использовать для различных даунстрим задач, не только для кандидато-генерации.
- Более подробный разбор PLUM есть у Кирилла.
  • 👍 12
  • 🔥 7
  • ❤ 4
Post #20 1.73K
Субботнее. Про музыку и название канала.

Oasis в мск не дождешься, Radiohead в Праге подпеть не вышло, как и вообще туда доехать. Но хоть рекомендашки Я.Музыки не подвели (респект ребятам).

Трек, подкинутый волной и залетевший у меня в лайки, пророс в рекомы концертов и вылился в спонтанный ламповый вечер в небольшом московском клубе. Здорово, когда настолько сложный путь пользователя, построенный на RecSys, срабатывает от и до. Этот факт порадовал не меньше, чем сам концерт - мне нравится слушать новые группы вживую.

Ушами и досугом со мной рисковал Эмиль - первый мейнтейнер RecTools и мой ментор в начале пути в МТС, да и вообще в разработке в эти годы. С меня должок написать вам о нём.

Меня тут спрашивали про название канала - почему "Red"? От моей вечной неспособности выдать сколько-нибудь стоящий нейминг. Red - от ника Blondered, а ник от группы Blonde Redhead, которая звучала в наушниках, когда почту нужно было придумать 🔤
  • 🔥 15
  • ❤ 6
  • 🤯 2
Post #19 1.96K
Генеративные рекомендации IV. По полочкам

Как показывали недавно в Праге, под термин «генеративные рекомендации» попадает любая рекомендательная система, которая комбинирует идеи из GenAI и RecSys. То есть примерно всё что угодно)

Где бы ни всплыл термин, ясно только одно: абсолютно непонятно, что имеется ввиду. Вот основные концепции, которые могут подразумеваться, если сократить сферу хотя бы до transformer-based sequential моделей:

1. Генеративная постановка обучения в противоположность дискриминативной. Дискриминативная постановка означает, что модель либо учится решать задачу кандидато-генерации (предсказывает следующий айтем), либо учится решать задачу ранжирования (предсказывает фидбек пользователя для конкретного айтема). Генеративная постановка подразумевает, что модель учится решать обе задачи одновременно.Пример: next-item prediction и feedback prediction в Argus. Анти-пример: оригинальный "Actions…", где идею совместного распределения вероятностей авторы озвучили, но модель учили только на одну из задач, т.е. постановка была дискриминативная.

2. Генеративное обучение в противоположность impression-based. Неудобно конечно, что эту историю тоже назвали «генеративной», но идея вот в чём. Классические ранжирующие модели на нейронках учились предсказывать фидбек на паре юзер-айтем, где айтем реально данному юзеру был в сервисе показан (отсюда “impression”). "Генеративное" обучение ранкера означает, что модель учится предсказывать фидбек сразу на пачке айтемов, обрабатывая историю действий пользователя единожды. Пример: M-Falcon алгоритм из “Actions…”, предсказывающий фидбек для пачки кандидатов. Пример из кандидато-генерации: Shifted-Sequence схема обучения SASRec. Анти-пример: много семплов на основе одной истории, где предсказать нужно только последний айтем в последовательности.

3. Генеративный инференс в противоположность топ-к. Обычный инференс: взяли последний hidden state в SASRec, сделали дот продакт на эмбеды каталога, взяли топ-к айтемов. Генеративный инференс: взяли последний hidden state SASRec, сделали дот продакт, взяли топ-1 айтем, подставили в конец последовательности, прогнали трансформер. Повторили К раз. Стратегии семплирования можно менять. Пример: GPTRec

4. Генеративный ретривал на semantic IDs в противоположность similarity-based ретривалу. Использование Semantic IDS для кандидато-генерации представляет айтем как иерархический набор токенов. На инференсе необходимо предсказать их по очереди по схеме из прошлого пункта. В данном случае используется слой линейной проекции, который отражает последний hidden state декодера в набор логитов для «каталога» семантических айди. Отобранный семантический токен подставляется в конец последовательности для декодера – и процесс повторяется. Пример: TIGER

5. Генеративный end-2-end рекомендательный движок в противоположность каскадным рекомендациям. В каскадной рекомендательной системе есть сущности кандидато-генераторов и ранжирующих моделей. Идея end-2-end движка в том, чтобы инкорпорировать ранжирующий сигнал (или другой релеватный бизнесу reward) сразу в модель, которая выдаёт айтемы - используя RL или псевдо-RL подходы. В идеальном мире это позволяет отказаться от ранжирующих моделей как отдельной сущности. А кандидато-генератор перевоплощается в единую модель: из дискриминативной его задача становится генеративной, ровно как в пункте 1. По сути end-2-end движок генерирует айтемы, делая поправку на reward, который можно получить с них в сервисе. Пример: OneRec

Мои прошлые посты по теме: 1, 2, 3
  • 🔥 14
  • 👍 6
  • ❤ 2
  • 💯 2
Post #18 1.7K
Как быстро расти по грейду

Обещала писать про карьеру. Моя история не про успешный успех «начальник 300 человек». Я люблю сама дизайнить, ресёрчить, кодить– и работать с людьми. Все мои заметки в канале будут про кусочек роста от стажёра/джуна до сениор+.

Доверие. Мне кажется, вот главное, что нужно понимать в росте по грейдам. Нанимая вас на определённый грейд – или повышая в рамках одной компании – ваш менеджер отвечает для себя на один простой вопрос – насколько он доверяет дать именно вам определённый кусок своей ответственности. Любые собесы по ML, ML дизайн, behave, да хоть алгоритмам – по сути лишь способ собрать сигнал, что вам можно доверить некоторый пул задач/проектов с понятной долей самостоятельности в их исполнении.

Полученный грейд – это оценка объёма ответственности, который вы – как верит менеджер - способны затащить.

Визуализаци
я. Хотите высокий грейд? Нарисуйте в голове, какому объёму он соответствует – и далеко не только в хардах – на примере того, что делают ваши старшие товарищи или знакомые из других компаний. И визуализируйте для себя – вы готовы были бы доверить такое себе? Сможете сделать от и до? Чего вам не хватает, чтобы прямо сейчас уверенно ответить«да»?

Самым частым ответом будет простое «мне не хватает самостоятельности», следом за ним – «мне не хватает навыков Х и знаний в области Y». Это отлично! Очень понятный план действий. Подтягиваем.

Реализация.
Если картинка в голове сложилась, Х и У в процессе изучения, дальше остаётся идти вперёд. Самый простой способ быстро дорасти до следующего грейда – начать делать задачи следующего грейда уже сейчас. Как только вы с таким справляетесь, дальше есть 2 базовых сценария. Либо ваш менеджер в текущей компании понимает, что вам можно доверить кусок ответственности побольше (а это грейд ап). Либо у вас есть отличная строчка в резюме и кейс для собесов, чтобы дать сильный сигнал нанимающим менеджерам, какой кусок ответственности вы способны закрыть самостоятельно (это тоже грейд ап).

Мне нравится, как эту мысль раскрывает в интервью Татьяна Савельева на своём примере. Если тема вам интересна – советую.

Карьерные комплименты.
На мой взгляд, лучший комплимент, который можно получить в карьерном плане – не «крутой доклад», «отличные результаты на продукте», «ты молодец» и пр. А максимально конкретное «я хочу доверить тебе этот проект» от текущих и нанимающих менеджеров и «я хочу с тобой работать» от потенциальных коллег, подчинённых, соавторов или напарников.

Так что моя мысль очень простая.

Совершенно неожиданно в нашей математически-статистическо-алгоритмически-MLOps-AI-читай-arxiv-смотри-митапы-решай-хакатоны-хард-спец области главный фактор для карьерного роста – это объём доверия от людей вокруг.
  • 👍 23
  • 🔥 11
  • ❤ 4
  • 🤣 2
  • 🤡 1
  • 💯 1
Post #17 4.99K
Никита с Сашей сегодня презентуют нашу статью на RecSys'25 в Праге.

А я смотрю на фото.

Радуюсь, что мы добрались до уверенного "Accept" в треке Late-Breaking Results. Переписывали статью в 4-страничный формат за 3 дня перед дедлайном, после реджекта на другом треке. Справились)

Если буду ещё публиковаться - надо всё-таки добираться до конференций.
  • ❤ 27
  • 🔥 13
  • 👏 8
  • 👀 1
Post #16 1.89K
Кого я читаю в tg

Спросили в комментах – отвечаю. Я вообще очень вдохновляюсь людьми вокруг, и каждый канал для меня – это в первую очередь сам автор, и только потом тот контент, которым он делится.

Авторы вне RecSys, совершенно особенные лично для меня:

Витя Кантор – без Вити меня бы не было как специалиста.Я перекатывалась в ML по известной специализации на курсере, где он преподавал. На каких бы проектах я ни росла в МТС – почти всегда где-то у их истоков было Витино решение эти проекты поддержать. Он же был инициатором моего первого публичного выступления. Даже открытые курсы по RecSys, по которым я с соревнования залетела в МТС, когда-то поддержал именно он. В канале море всего, вы и без меня знаете.

Никита Зелинский. Будучи Head of DS в МТС, Никита раз за разом доверял мне мейнтейнерство, выступления, преподавание, опыт лида команды, ресёрч. Часто именно с его подачи и с его поддержкой я начинала делать то, к чему не всегда считала себя готовой, но всё получалось. Сейчас Никита в Праге на ACM RecSys, будет на днях презентовать наш постер по статье. А канал у него весёлый)

Авторы из RecSys,которых я читаю с огромным удовольствием. В том числе потому что знаю в реальной жизни, и они сильно на меня повлияли по тем или иным причинам:


Саша Петров из Spotify – с Сашей познакомились почти 4 года назад, как раз на соревновании с курсов МТС, где он уже шатал ансамбли с BERT4Rec, а я еле заводила ранжирование кандидатов бустингом. Саша фантастически увлечённый, любые совместные проекты с ним всегда летят. Надеюсь, что однажды увидимся вживую. Канал про RecSys конференции, тренды и жизнь)

Коля Савушкин из Яндекса– о Коле уже писала недавно, канал максимально хардовый. Познакомились этим летом, у Коли очень впечатляющий вайб в реальной жизни) Советую как-нибудь его поймать на конфах, где он выступает

Кирилл Хрыльченко ex-Яндекс now-тайна –с Кириллом познакомились пару лет назад на митапе Вышки. Помню, как в кулуарах он убеждённо говорил, что на горизонте лет пяти (или 10?) заведётся-таки в рекомендашках RL (завёлся). Как классного спикера и исследователя я узнала его уже позже. Канал у Кирилла известный, вы вряд ли могли его пропустить.

Лёша Васильев из Сбера – с Лёшей познакомились на том же митапе. У меня к Лёше и команде Сбера, которая разрабатывает RePlay, ультра тёплые чувства. Мало кто может понять, какого это – пару месяцев готовить опен-сорсный релиз, пиарить его на докладе на какой-нибудь конфе и получать ровно +1 звёздочку на гитхабе. Но мы-то знаем. Кайф не в этом) Канал про митапы и публикации, с фановыми фоточками)

Ещё авторы из RecSys, которых я не знаю лично или знаю совсем немного, с классным бэкграундом в индустрии/академии. Делятся опытом и помогают расширять общее понимание нашей области:


Ваня Максимов из Яндекса (ex-пара компаний) – читаю очень давно, меня с самого начала подкупила тематика «ML 4 Value», канал максимально полезный

Миша Ройзнер ex-Яндекс/Microsoft/X now-бесконечность– тоже читаю очень давно, много про индустриальные подходы, о которых мало кто пишет настолько основательно

Олег Лашинин из Т-Банка – пишет редко, но всегда очень интересно

Евгений Фролов из AIRI/HSE/Сколтех– свежий канал, у которого все шансы стать абсолютно непохожим на прочие

Саша Пославский из VK – тоже свежий канал, будем читать)

Ещё пара полезных каналов с RecSys тематикой
:
recommender_systems - коммьюнити, которое всегда придёт на помощь
Рекомендательная – классные обзоры свежих статей от ребят из Яндекса
WildRecSys – WB и Женя Иванов о практике применения нейронок в рекомендашках + много инсайтов из продакшна
Your First RecSys - релизы RecTools
Рисерчошная - личный канал с разборами RecSys статей, автор Даня Картушов, WB
AI VK Hub – ценю за RecSys ридинг группу, приглашают разных спикеров, сама там тоже выступала

Авторы не про RecSys, которых я всё равно не могу не написать
:
Антон Клочков - лид RnD команды в Яндексе, связанной
с VLM. Не суть) Он просто здорово пишет
Юра Кашницкий из Google - вы не можете его не знать
  • ❤ 26
  • 🔥 10
  • 👍 9
  • 👏 1
  • 💯 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →