🫡 GPU оказался дешевле CPU для Spark

AWS протестировала Spark на EMR on EKS с NVIDIA cuDF и RTX PRO 4500. В TPC-DS на 3 ТБ кластер из восьми GPU-узлов выполнил 103 запроса за 4,7 минуты против 16,8–17,4 минуты на CPU.

Хотя GPU-кластер стоил в час примерно в 2,5 раза дороже, один прогон обошёлся в $2,06 против $2,93–3,18 — до 31% дешевле благодаря сокращению времени работы.

Код Spark менять не требуется, но неподдерживаемые операции и UDF возвращаются на CPU, а короткие запросы могут даже замедлиться. Цифры получены AWS на синтетическом тесте и не включают часть сопутствующих расходов.

Верим? 👀

#apachespark #amazonemr #nvidia #gpu #dataengineering #etl #performance

@data_engi