Обработка более 100 ГБ/с в реальном ВРЕМЕНИ — Яндекс поделился собственной технологией непрерывной работы с данными, которая помогает быстрее учитывать смену интересов пользователей.

Flow анализирует информацию прямо по мере её поступления, без необходимости что-либо накапливать. Клики, лайки, заказы и другие события проходят через систему практически мгновенно, благодаря чему свежая информация быстрее попадает в статистику, рекомендации и ML-модели. В Яндекс Рекламе Flow уже пропускает через себя более 100 ГБ данных в секунду и миллионы событий.

Почитать, как разработали — здесь.

@exploitex