Краткий экскурс, который познакомит вас с библиотекой Dask, предназначенной для распараллеливания задач на Python.

Если вам нравятся Pandas и Numpy, но иногда вам не удается справиться с данными, не умещающимися в RAM, то Dask – именно то, что вам нужно. Dask поддерживает датафреймы Pandas и массивы Numpy. Dask можно запускать либо на локальном компьютере, либо масштабировать, а затем запускать в кластере.

https://m.habr.com/ru/company/piter/blog/454262/