✨Spark Actions and Transformations

В спарке есть два типа операций: действия и трансформации.

🦥В чем отличия?
Как и все мы, спарк очень любит лениться и ничего не делать. И он не будет тратить свою энергию на то, что никогда не понадобится. Так вот трансформации будут складироваться в цепочку по порядку, но никогда не выполнятся, если не будет запущено действие.

🔮Примеры трансформаций:
select() - выбираем столбцы
withColumn() - добавляем новое поле
where()/filter() - фильтруем
orderBy()/sort() - сортируем
join() - джойним
groupBy() - группируем
union() - объединяем
distinct() - удаляем дубликаты по всем столбцам
dropDuplicates() - удаляем дубликаты по некоторым столбцам
drop() - удаляем столбцы
SQL на максималках

💃Примеры действий:
show() - выводим датафрейм на экран
count() - считаем количество строк
toPandas() - собираем датафрейм в pandas df

Как использовать?

# Трансформации возвращают датафрейм
# Результата на экране нет
df = df.select('col1', 'col2').sort('col1')

# Действия возвращают НЕ датафрейм
# Результат на экране есть
df.show()

#spark