Когда экосистема вырастает до десятков продуктов, разрозненные ML-решения начинают тормозить развитие.

В VK объединили рекомендации, поиск и рекламу в единую Discovery-платформу. Теперь модели, данные и пайплайны работают по единым стандартам.

В основе потоковой обработки — Stream Flow, который построен работает на бигдата-платформе YTsaurus и выдерживает до 1 млн событий в секунду. Это позволяет синхронизировать real-time сигналы между продуктами и использовать их в обучении и ранкинге без отдельной инфраструктуры в каждой команде.

Результат — ускорение экспериментов в 5 раз и заметный рост продуктовых метрик в VK Клипы, VK Музыке и VK Видео.

Детали разработки и лучшие практики команда раскрыла в этой статье, советуем.