⚡️Яндекс открыл код YTsaurus Flow: задержка данных упала до двух часов

Яндекс выложил на GitHub исходный код YTsaurus Flow — инструмента для потоковой обработки данных в реальном времени. Лицензия та же, что и у основной платформы YTsaurus, открытой в марте 2023 года: Apache 2.0.

Flow — совместная разработка команд инфраструктуры и Яндекс Рекламы. По заявлению разработчиков, инструмент гарантирует отсутствие потерь и дублей данных по умолчанию (принцип «ровно один раз»), а ядро написано на языке C++ для экономии ресурсов на больших объёмах.

На примере одного из сервисов переход на Flow сократил задержку поставки данных для дообучения моделей с десятка-другого часов до двух часов.

Flow встроен в экосистему YTsaurus и использует её хранилище, очереди сообщений и механизм транзакций — отдельно разворачивать не нужно.

https://habr.com/ru/companies/yandex/articles/1087470/

💬 Telegram | 💬 MAX

#новости #selfhosted #автоматизация