🔵 عنوان مقاله
Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day (7 minute read)

🟢 خلاصه مقاله:
شرکت Salesforce روزانه حدود هشت میلیون وظیفه‌ (Job) در فریم‌ورک Apache Spark اجرا می‌کند. بررسی‌های این شرکت نشان داد که برخی از بارهای کاری، در بیشتر زمان، اجراکنندگان (Executors) را به حال تعلیق درآورده و بیش از ۹۰ درصد زمان بی‌استفاده بوده‌اند. این وضعیت نشان می‌دهد که تخصیص منابع، بدون در نظر گرفتن میزان واقعی مصرف، می‌تواند منجر به هدررفتی بزرگ در منابع و هزینه‌های مرتبط باشد.

در پی تحلیل دقیق این داده‌ها، Salesforce تصمیم گرفت تا سایزینگ (اندازه‌گیری و تنظیم) وظایف مورد نظر بر اساس میزان مصرف واقعی انجام دهد. نتیجه این اقدام، کاهش قابل توجه هزینه‌های محاسباتی در طول هفته بود، به طوری که هزینه‌های محاسباتی هفتگی تا ۳۱ درصد کاهش یافت. این استراتژی نه تنها به کاهش هزینه‌ها کمک کرد، بلکه عملکرد سیستم نیز در حالت عادی باقی ماند و میزان زمان اجرا، تعداد خطاها و تکرار عملیات تقریباً در همان سطح مطلوب قرار داشت.

در نهایت، این تجربیات نشان می‌دهد که تنظیم منابع براساس میزان مصرف واقعی، رویکردی مؤثر برای بهینه‌سازی هزینه‌ها و حفظ کارایی در پروژه‌های بزرگ است. استفاده هوشمندانه از منابع می‌تواند در کنار کاهش هزینه‌ها، منابع سیستم را برای وظایف حیاتی‌تر آزاد کند و عملکرد کلی سامانه را بهبود بخشد.

#بهینه_سازی_سخت_افزار #آپاکای_اسپارک #کاهش_هزینه_تجهیزات #مدیریت_منابع

🟣لینک مقاله:
https://engineering.salesforce.com/apache-spark-resource-optimization-lessons-from-eight-million-jobs-a-day/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy