Рубрика ночные извраты на питоне)

Попробовал поюзать модный Polars

Что имеем на входе:

1/ 12 млн строк, 5 столбцов (id, 3 категории и цена)

2/ Делаем группировку по категориям (всем трем) считаем суммы и фильтруем где больше нуля

3/ macbook air m1 (вроде как 8 ядер)

При минимальных правках получаем прирост в 4 раза!

Так же хочется отметить (но я пока не игрался), что есть возможность писать на sql (что классно, если вы такой же тупой менеджер как и я)

В общем кажется полярный мишка в ближайшем будущем отберет пальму первенства в панды))

Ps както я пару раз юзал modin но чет совсем не зашло, получилось, что быстрее было запустить в однопоточном режиме…

Pss Polars умеет работать с файлами, которые не влезают в оперативу (тоесть подключает жесткий диск) за мою небольшую карьеру, разок мне такое нужно было…