Время заняться PySpark-ом: http://spark.apache.org/docs/2.1.0/api/python/pyspark.html

PySpark Cheat Sheet: Spark in Python:
https://www.datacamp.com/community/blog/pyspark-cheat-sheet-python

Еще парочка полезных ссылок по PySpark:
1. https://blog.sicara.com/get-started-pyspark-jupyter-guide-tutorial-ae2fe84f594f
2. https://www.tutorialspoint.com/pyspark/index.htm