Поговорим про ✨Apache Spark✨ - это движок/фреймворк для распределенной обработки больших данных.

Что значит распределенной?
Представь, что ты археолог и тебе нужно раскопать огромную территорию. Ты решил позвать n друзей, вы начали работать параллельно, и теперь вы закончите в n раз быстрее. Так и в спарке: каждая операция делится на маленькие таски, которые одновременно обрабатываются несколькими компьютерами, что ускоряет весь процесс.

Со спарком обычно работают на Python (через либу PySpark) и Scala.

Сначала нужно создать SparkSession:

from pyspark.sql import SparkSession

spark = (SparkSession.builder
  .appName("SparkExample")
  .master("yarn")
  .config("spark.some.config.option", "config-value")
  .enableHiveSupport()
  .getOrCreate()
)

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("SparkExample")
  .master("yarn")
  .config("spark.some.config.option", "config-value")
  .enableHiveSupport()
  .getOrCreate()

Пару слов про code style в питоне. Есть два варианта:

1) обратный слэш

spark = SparkSession.builder \
  .appName("SparkExample") \
  ...

2) скобки

spark = (SparkSession.builder
  .appName("SparkExample")
  ...
)

Я лично предпочитаю второй подход, потому что в первом нельзя закомментить строчки (только удалить, иначе синтаксическая ошибка) и нужно проставлять бэкслэши на каждой строке. Во втором - только один раз обрамить скобками, и все👌

#spark