А вы знаете почему появился Clickhouse?

В какой-то момент Яндекс уперся в трудности создания быстрых отчетов для своего же продукта Яндекс Метрика. Метрика - это инструмент web-аналитики, которая собирает события в огромном количестве с сайтов - клики, переходы, открытия, скроллы страниц и т.д. Данных много и их нужно не просто хранить где-то, но и строить отчеты для пользователей по этим данным.

И до появления Clickhouse отчеты в Яндекс Метрике имели ограничения. Их было ограниченное кол-во, были заранее определены срезы и метрики, которые на них считались. Это делалось для скорости загрузки отчетов, т.к. данные заранее агрегировались, фильтровались, а значит запросы к ним выполнялись сильно быстрей чем к исходным данным событий.

НО пользователям нужна гибкость, они сами хотят строить отчеты по нужным им срезам. А чтобы дать такую возможность нужно хранить данные в исходном виде и на лету по ним уже строить отчеты без предварительной готовой агрегации.

И чтобы была возможность обрабатывать большой массив данных в аналитических запросах зародился Clickhouse - аналитическая колоночная база данных.

Все технические подробности можно посмотреть в этом видео