Polars 2.0 RC: streaming теперь по умолчанию. Ritchie Vink обещает «скучный» мажор и ×5 на многих запросах

2 сентября вышел первый RC Polars 2.0. Стабильный релиз — в ближайшие недели.

Главное изменение не новый синтаксис. LazyFrame.collect() по умолчанию идёт в streaming engine. Для обычного пользователя это меньше RAM и, по оценке команды, легко до 5× на типичных запросах. Цена: join / group_by / unpivot больше не обещают порядок строк, если явно не поставить maintain_order=True. Вернуться на in-memory можно через конфиг или collect(engine="in-memory").

Плюс ужесточение. is_in больше не молча приводит типы. Горизонтальная конкатенация падает на разной высоте. Неявные касты в даты и enum убрали — нужны отдельные методы. melt окончательно уступил unpivot.

Это правильный мажор: ломают дефолты, которые мешали движку, а не ради чейнджлога. Если у вас пайплайн молча опирался на порядок после join, RC как раз для того, чтобы поймать это на тесте, а не на пятничном отчёте.
Дата-инженерам имеет смысл прогнать suite на 2.0.0rc1 на этой неделе, пока есть migration guide.

Источник: Polars Blog

#polars #python #dataengineering #rust #pandas