Декомпозируй и властвуй: как переписать запрос так, чтоб обработать терабайты данных

Никита Романов, аналитик ВКонтакте рассказывает, зачем они используют самописный MapReduce движок для сборки агрегатов в ClickHouse.

Разберетесь, любой ли запрос поддается разложению на Map и Reduce операции. В докладе представлен обзор аддитивных агрегатных функции ClickHouse.

Никита также учит использовать ключ сэмплирования таблицы и комбинатора -State при сборке неаддитивных метрик. Потом может реализовать подобную схему в своих задачах по сборке агрегатов, если требуется обрабатывать большие объемы данных