дата инженеретта: “DESCRIBE FORMATTED Посмотреть пути партиций в hdfs можно командой: spa…”

DESCRIBE FORMATTED

Посмотреть пути партиций в hdfs можно командой:

spark.sql("DESCRIBE FORMATTED web.visits partition (visit_date='2024-03-01')")
  .where("col_name = 'Location'")
  .select("data_type")
  .show()

DESCRIBE FORMATTED хранит инфу о полях и типах данных плюс метаинформацию (дату создания, партиции, форматы хранения, локацию) и возвращает примерно такую табличку:

+-----------------------------+ 
|col_name  |data_type |comment|
+-----------------------------+
|visit_date|string    |Дата   | 
|# Storage |          |       | 
|Location  |hdfs://...|       | 
+-----------------------------+

И после получения локации мы можем считать файл в датафрейм:

val df = spark.read.parquet("ctrl+c наш location")

#spark