Яндекс открыл YTsaurus Flow: обработка данных в реальном времени для более точных рекомендаций

Рекомендательные системы и реклама живут на свежих данных о пользователях. Но клики и заказы обычно не летят в обработку сразу, а сначала накапливаются, и задержка может растянуться на часы. За это время интересы человека могут смениться.

Теперь технология в опенсорсе: Flow разгребает такие события по мере поступления. Под капотом exactly-once (ни потерь, ни дублей), устойчивость к сбоям и работа в рамках платформы YTsaurus, где накопленная и свежая информация учитывается в одной системе.

Flow уже крутится в Маркете, антифроде и Рекламе Яндекса. В Рекламе через него ежесекундно идёт больше 100 ГБ, подготовка данных для дообучения части моделей раньше занимала больше 10 часов — теперь эту задержку почти полностью убрали. Вне рекламы Flow сгодится для ML-датасетов, онлайн-счётчиков просмотров и заказов и обновления информации на сайтах и в приложениях. Лицензия Apache 2.0 не мешает использовать его и в коммерческих проектах.

Читать далее

👉 Telegram | Max