При работе с Apache Spark понимание разницы между transformations и actions имеет ключевое значение.
Transformations (трансформации) — это операции над DataFrame или Dataset, которые создают новый распределённый набор данных на основе существующего.
Обычно они ленивые (lazy) — то есть выполняются не сразу, а лишь формируют логический план выполнения.
Примеры трансформаций из кода:
👉
spark.read.option()👉
withColumn()👉
filter()👉
groupBy()👉
count()Эти операции описывают, что должен сделать Spark, но фактически выполняются только после вызова действия.
Actions (действия), в свою очередь, запускают выполнение трансформаций и возвращают результат в driver-программу или выводят его.
Примеры действий:
👉
show(5)👉
collect()👉 @SQLPortal