дата инженеретта: “max_by/min_by Узнала про прикольные функции, они заменяют оконку/CTE н…”

max_by/min_by

Узнала про прикольные функции, они заменяют оконку/CTE на одно поле

Пример - вывести имя сотрудника с максимальным стажем по каждому департаменту


result = df.groupBy("department").agg(
    F.max_by("name", "years")
)

И все! Не надо никаких row_number = 1

В Spark SQL можно еще и фильтр набросить:


spark.sql("""
  select
    department,
    max_by(name, years) filter (where name is not null)
  from employees
  group by department
""")

А в Trino еще можно собрать массив топ-n в убывающем порядке:


select
  department,
  max_by(name, years) AS top_employee,
  max_by(name, years, 2) AS top_2_employees
from employees 
group by department

Аналог в ClickHouse - argMax

@data_engineerette