Clickhouse 25.4
Тут ребята из ClickHouse опять сделали кучу крутых оптимизаций, вот выжимка, что применимо в BI продуктах для скорости/стабильности ваших дэшиков =)
🛡 Random Early Drop on Overload
КХ начинает дропать рандомные приходящие запросы, чтобы ограничить полный DDOS системы. Было как-то пару лет назад, когда у нас кешировалка потеряла все кэши утром, когда спрос на аналитику высокий; Вдруг 400 человек смогли заDDOSить нашу инсталляцию за час примерно.
🛡 CPU Workload Balancer
- Ооо, я давно хотел разобраться, как сделать в одной инсталляции КХ и работу с DWH источниками стабильную и чтобы аналитикам можно было какие-то Ad-hoc с минимальным TTL грузить, но был страх, что они убьют КХ. Теперь можно задавать вес пользователю для Ad-hoc табличек поменьше =)
⚡ Lazy Materialization
- ТОП! про фичу скриншот!Сначала читаем нужные колонки по WHERE и оттуда берем всю инфу по условиям и только потом читаем остальные столбцы по уже отфильтрованным parts! Мега штука, когда у вас сортировка есть / хорошая фильтрация. Уже в 25.4, но всем, у кого ClickHouse в Production очень советую ждать LTS версий =)
Скорость увеличивается в десятки раз, но надо еще будет научиться кушать =)
⚡ Dynamic Sharding for JOINs
- Если мы делаем JOIN по 2м таблицам с одинаковым PK (Primary Key) то ClickHouse будет иначе параллелизировать запросы, выводя интервалы значений по первичным ключам каждому потоку - Join более эффективный получается, тк потоки не зависят друг от друга вообще
⚡ Correlated Subqueries
- EXISTS в PostgreSQL лет 10 назад сильно изменил у меня один пайплайн по скорости =) Теперь надо понять, как это прицепить еще в BI по скорости и стоит ли =) Но точно можно писать более понятные запросы к небольшим таблицам через подзапросы =)
Вообще, советую смотреть видосики с презентаций, они поднимают настроение сами по себе =)
Post #20
1.4K

- 👍 4
- 🔥 2
- 🦄 1