YTsaurus Flow для потоковой обработки данных

Яндекс открыл исходный код YTsaurus Flow — системы для непрерывной обработки больших потоков данных. Она в реальном времени обрабатывает события, помогает быстрее обновлять рекомендации, выявлять аномалии и подбирать рекламу, а также уже используется в Яндекс Рекламе, Маркете и антифрод-системах.

Решение работает с нагрузкой более 100 ГБ данных в секунду, гарантирует обработку каждого события ровно один раз и доступно по лицензии Apache 2.0. По данным Яндекса, YTsaurus Flow уже помог почти полностью убрать задержку подготовки данных для дообучения некоторых рекламных моделей.

@forgeeks | @forgeeksflash