Яндекс открыл YTsaurus Flow: 100+ ГБ/с в реальном времени без потерь и дублей
 
Технология обрабатывает клики, показы, лайки и заказы по мере поступления. Обычно их сначала накапливают, и задержка может составлять часы. YTsaurus Flow обрабатывает их по мере поступления и учитывает каждое ровно один раз, даже при сбоях: exactly-once работает по умолчанию.

И это уже работает в проде: в Яндекс Рекламе через Flow проходят миллионы событий в секунду. Подготовка данных для дообучения части моделей раньше занимала больше 10 часов, теперь эту задержку почти полностью устранили. Также технология работает в Маркете и антифроде.

Подойдёт для подготовки обучающих данных, подсчёта просмотров, кликов и заказов, обновления информации в приложениях. Лицензия Apache 2.0, коммерческое использование разрешено.

GitHub - https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow