Kwai (Kuaishou), разработчик генеративной видеомодели Kling AI, перенесла общекорпоративный пайплайн расчёта метрик A/B-экспериментов со Spark на Apache Doris.

Переработка системы ускорила расчёт метрик до 145 раз и снизила потребление ресурсов на 72% на кластере из 2000 узлов и 100 000 вычислительных единиц (CU).

Подробный разбор на Хабре, ссылка в комментариях.

Мы уже дважды писали о внедрении Apache Doris в Kwai, и оба раза речь шла о слое обслуживания запросов в реальном времени (real-time serving) для рекламных нагрузок: сначала о замене ClickHouse на единый lakehouse, обслуживающий почти миллиард запросов в день, затем о замене Elasticsearch.

На этот раз речь о другой команде и другой нагрузке: пакетные вычисления по расписанию.

https://habr.com/ru/articles/1085270/