[2608.11015] Sona Technical Report
https://arxiv.org/abs/2608.11015

Кульминация года работы, в результате которой нам удалось заменить весь стек рекомендаций Яндекс Музыки на единую модель, а профит превзошел все смелые ожидания.

Как нам это удалось:
1. Масштабируемая архитектура
Encoder-decoder, обучающийся хронологически на задачу Next Token Prediction без единой ручной фичи. Одной из самых сложных частей было сделать рецепт токенизации, который бы обеспечивал рост качества при росте словаря и числа токенов на документ.

2. Единая модель кандидат-генерации и ранжирования
OneRec ранжирует кандидатов отдельной моделью, причем с использованием ручных фич. Мы же стремились к совместному рецепту обучения и инференса. Проблема в том, что задача ранжирования слишком спарсовая и модель просто не обучается выполнять ее достаточно хорошо. Решение - сжать год данных в ранжирующую модель, обучающуюся авторегрессивно, дистиллировать эти знания в совместную модель.

3. Инфраструктура обучения и инференса
Любые большие изменения в ML приводят к настолько же большим изменениям в инфраструктуре. Нам пришлось фактически построить новый движок рекомендаций с нуля. Очень важной компонентой стало online обучение: end-to-end путь события от возникновения до обновления модели в инференсе укладывается в 1 час в 99perc.

По пути было безумное число А/Б-тестов (в репорте лишь вершинка айсберга), ночей без сна и выходных без отдыха, а также радостных моментов, когда метрики из огромного минуса становились минусом чуть меньшим.

Это было очень непростое и очень веселое приключение. Над проектом работала большая часть команды R&D рекомендаций, команда Яндекс Музыки и еще очень много людей, всех не перечислить, которые помогали и поддерживали нас. Всем огромное спасибо, вы лучшие!