Where is data, Lebowski: “#post 👀 Data Overview . Поговорим о том какие инструменты есть в Cl…”

#post

👀 Data Overview
.
Поговорим о том какие инструменты есть в Clickhouse для обзора данных. Кейсы, возникающие в работе:
- на s3 сложили файлы, какая структура, какие типы данных
- хотите выгружать данные с бека (например, Postgres) и хочется узнать в какие типы превратить атрибуты или просто узнать о структуре таблицы (а например, локального доступа нет)
- узнать структуру существующей таблицы
.
Да, в Clickhouse есть аналог information_schema - это база system, таблиц там много, но нам интересны: tables, columns - тут всё как в PostgeSQL, разобраться довольно просто.
А можно такие же, только с перламутровыми пуговицами...
.
Конечно, их есть у меня:
1. DESCRIBE - команду можно использовать не только с существующими таблицами, но и с табличными функциями:

-- local table
DESCRIBE cdc.openweathermap_raw;

name            |type         |
----------------+-------------+
record_timestamp|DateTime64(6)|
record_value    |String       |

-- files on s3
describe s3('https://storage.yandexcloud.net/public-bucket-6/reddit/2024-10-26/top_subreddits_2024_10_26_03_00_00.parquet', '', '', 'Parquet');

name                   |type   |
-----------------------+-------+
id                     |String |
title                  |String |
score                  |Int64  |
num_comments           |Int64  |
author                 |String |
created_utc            |String |
url                    |String |
upvote_ratio           |Float64|
over_18                |UInt8  |
edited                 |UInt8  |
spoiler                |UInt8  |
stickied               |UInt8  |
subreddit_name_prefixed|String |

DESCRIBE postgresql('192.168.55.94:5432', 'tmp', 'superstore_v1', 'shpz', '12345', 'stage');

name          |type                     |
--------------+-------------------------+
order_id      |Nullable(String)         |
order_date    |Nullable(Date)           |
ship_date     |Nullable(Date)           |
ship_mode     |Nullable(String)         |
customer_id   |Nullable(String)         |
custsomer_name|Nullable(String)         |
segment       |Nullable(String)         |
country       |Nullable(String)         |
city          |Nullable(String)         |
state         |Nullable(String)         |
postal_code   |Nullable(Int64)          |
region        |Nullable(String)         |
product_id    |Nullable(String)         |
category      |Nullable(String)         |
sub_category  |Nullable(String)         |
product_name  |Nullable(String)         |
sales         |Nullable(Decimal(38, 19))|
quantity      |Nullable(Int64)          |
discount      |Nullable(Decimal(38, 19))|
profit        |Nullable(Decimal(38, 19))|

... and so one. В одном из рабочих кейсов перешли от чтения паркет-файла, для формирования data_schema, к выводу DESCRIBE - 👌
.
2. SHOW CREATE - покажет вам DDL как он есть

SHOW CREATE cdc.openweathermap;

.
3. Изучить метаданные паркетов поможет указание ParquetMetadata вместо формата файла

SELECT * FROM s3('https://storage.yandexcloud.net/public-bucket-6/reddit/2024-10-26/top_subreddits_2024_10_26_03_00_00.parquet', '', '', 'ParquetMetadata')
FORMAT Vertical;
.
num_columns:             13
num_rows:                32
num_row_groups:          1
format_version:          2.6
metadata_size:           2513
total_uncompressed_size: 6182
total_compressed_size:   4068
columns:                 [('id','id',1,0,'BYTE_ARRAY','String','GZIP',435,254,'41.61%',['PLAIN','RLE','RLE_DICTIONARY']),('title','title',1,0,'BYTE_ARRAY','String','GZIP',1765,1191,'32.52%',['PLAIN','RLE','RLE_DICTIONARY']),...]
row_groups:              [(13,32,6182,4068,[('id','id',254,435,true,(32,0,NULL,'1gcanab','1gcbktk')),...]

.
ps: clickhouse не перестаёт меня удивлять, есть ощущение, что при правильном рецепте это пушка-бомба 💣

#clickhouse #lifehacks