Копаемся в метасторе

Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего

Из наиболее полезных таблиц я для себя выделила:

🤩COLUMNS_v2 - о колонках
🤩CTLGS - о каталогах
🤩DBS - о схемах
🤩ROLES - о ролях
🤩SDS (Storage Descriptors) - о путях к таблицам
🤩TABLE_PARAMS - о свойствах таблиц
🤩TBLS - о таблицах

И на основе этого мы можем вывести сводную инфу по всем схемам, таблицам, полям:

SELECT
    d."NAME",
    t."TBL_NAME",
    t."OWNER",
    s."LOCATION",
    c."COLUMN_NAME",
    c."TYPE_NAME",
    c."COMMENT"
FROM "TBLS" as t
    JOIN "DBS" d
        ON t."DB_ID" = d."DB_ID"
    JOIN "SDS" s
        ON t."SD_ID" = s."SD_ID"
    JOIN "COLUMNS_V2" c
        ON s."CD_ID" = c."CD_ID"
--WHERE d."NAME" = 'raw'
--AND t."TBL_NAME" = 'test'
ORDER BY d."NAME", t."TBL_NAME", c."INTEGER_IDX";

А на этой картинке представлена ER-диаграмма модели данных

@data_engineerette