Вышел Polars 2.0: что нового в популярном движке

Разработчики представили крупное обновление Polars 2.0. Релиз сфокусирован на производительности, поддержке SQL и стабильности при работе с большими данными.

Основные изменения:

• Потоковый движок стал стандартом: теперь при вызове collect данные обрабатываются по частям, что экономит память.
• Поддержка out-of-core: если оперативной памяти не хватает, Polars автоматически выгружает часть данных на диск.
• Полноценная поддержка SQL: движок стал быстрее конкурентов в тестах TPC-H и TPC-DS, обходя DuckDB и DataFusion.
• Новый тип данных Map: теперь можно работать со словарями напрямую через специальные выражения.
• Повышенная строгость: библиотека стала чаще выдавать ошибки на ранних этапах, чтобы быстрее выявлять баги в коде.

Команда также работает над улучшением масштабируемости и интеграцией GeoPolars. Полный гид по миграции на новую версию уже доступен пользователям.

рекомендуем:
@PoliticoJournal