مجموعه BMLL در تستهای اخیر خود نشان داد که کتابخانه Polars در تحلیل حجمهای بالای دادههای بازار (Market Data)، عملکردی بهمراتب سریعتر از pandas دارد. در این آزمایش که روی سیستمی با ۱۹۲ هسته CPU و ۱.۵ ترابایت رم انجام شد، Polars توانست ۱.۵ ترابایت داده را در مدت زمان ۳ دقیقه پردازش کند.
مهمترین نتایج این بررسی:
- بارگذاری دادههای یک روز معاملاتی برای ۱۱ هزار نماد آمریکایی: ۴.۳ ثانیه (در برابر ۳.۵ دقیقه در pandas که ۴۸ برابر سریعتر است).
- پردازش ۹۴ گیگابایت دادههای بورس شانگهای شامل بارگذاری، as-of join و دستهبندی در ۳۶ ثانیه.
دلایل اصلی این مقیاسپذیری شامل بهرهگیری از تمام هستههای پردازنده، استفاده از مکانیزم lazy execution، بهینهسازی در as-of join و امکان کار با کل دیتاست بدون نیاز به نمونهبرداری است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#Polars #as_of_join