Qlik Sense и 3.5

#qliksense #starrocks #3.5

Сперва про картинку. Данные лежат в hdfs в parquet. Слева доступ через kyuubi+spark+hive driver, справа через starrocks + mysql odbc driver. Кажется, что это бенчмарк драйверов, а совсем не систем.

5 дней назад на канале celerdata вышло видео про релиз 3.5. Мне было смотреть интересно, хотя обычно я пролистываю.

Что показалось интересным и крутым:
- разница в перформансе на стандартных тестах между shared data и shared nothing на прогретых кешах составляет всего 4%. Результат космический.
- создание снепшотов кластеров (это как раз та заявочка на создание тестовых окружений, ради чего часто выбирают айсберг)
- time-to-live для партиций и создание мат вью поверх айсберг таблиц (или любых других таблиц из внешних каталогов). То есть вместо надежды на механизм кеширования мы делаем надежный sla по скорости запросов, создавая мат вью надо горячими частями таблиц фактов во внешних каталогах. Идея очень хороша и мне крайне зашло: я выше писал, что работа с внешними каталогами требует нетривиальных стендов разработки. А подход с заносом таблиц внутрь позволяет всё значительно упростить - слой мат вью создает источники, а дальше внутри старрокса уже дбт как обычно работает с моделями.

Остается дождаться стабильности, потому что пока мы все еще на 3.3 ветке :)