Поступашки — BIG DATA: “Задачки с собеса в Самокат Собесился на мидла, был лайфкодинг + разгов…”

Задачки с собеса в Самокат

Собесился на мидла, был лайфкодинг + разговор про технологии, поэтому встреча была довольно долгой, а задачки не особо сложными. Давайте же начнем именно с задачек 🤓
Самокат одни из немногих на моей памяти, кто еще используют Scala для разработки на Spark, так что один из этапов это вообще вспомнить её.
Однако, вспомнив былую молодость, успешно справился с этим 😎 (благо DF API примерно одинаковое, что в Scala, что на Python)

Дано:
Таблицы: order, order_line, address, order_status, связи между ними и прочее (все на схеме выше)

Задачи:

SQL:
1) Все заказы клиента customer_id = 42

SELECT o.*
FROM order AS o
WHERE o.customer_id = 42;

2) Для каждого заказа — вторая по цене позиция (от самых дорогих)

WITH ranked AS (
  SELECT
      ol.*,
      ROW_NUMBER() OVER (PARTITION BY ol.order_id ORDER BY ol.price DESC) AS rn
  FROM order_line AS ol
)
SELECT *
FROM ranked
WHERE rn = 2;

Spark на Scala:
Нужно было вывести айдишники покупателей и их адрес: вся задачка сводится к тому, что нужно присоединить координаты position_lon/position_lat к address и вывести customer_id, address_line
Т.е. буквально все решается в один join

import org.apache.spark.sql.functions._

val orders  = spark.table("order")
val address = spark.table("address")

val result = orders
  .join(
    address,
    Seq("position_lat", "position_lon"),
    "inner" 
  )
  .select(orders("customer_id"), address("address_line"))
  .distinct() 

result.show()

Предложил также, что можно было бы округлить координаты, если там большая точность, но этого не требовалось.
По итогу собес в кармане — идем дальше 😎

@bigdata_postupashki