🔵 عنوان مقاله
A tale of two Flink autoscalers (7 minute read)

🟢 خلاصه مقاله:
در دنیای مدیریت اجرایی برنامه‌های داده‌ای، سیستم‌های خودکار اسکیلینگ نقش حیاتی دارند، و در این عرصه، Netflix تصمیم گرفته است تا بیش از ۳۰ هزار وظیفه‌ فراگیرش را از سیستم‌های داخلی خود که به صورت سفارشی توسعه یافته بودند به سمت سیستم اسکیلینگ اتوماتیک مبتنی بر پروژه Apache Flink سوق دهد. این تغییر استراتژیک نشان دهنده اهمیت بهره‌گیری از فناوری‌های متن‌باز و ابزارهای تخصصی در تحقق بهینگی و بهره‌وری بیشتر در مدیریت منابع است.

سیستم قدیمی که Netflix استفاده می‌کرد، بر اساس شاخص‌های میزان مصرف منابع در داخل هر کلاستر، کل کلاستر را به طور کامل در صورت نیاز اسکیل می‌کرد. این روش توانسته بود تا ۲۵ تا ۴۵ درصد در مصرف منابع صرفه‌جویی کند، اما در کنار این مزیت، همچنان معایبی هم داشت. به عنوان نمونه، این سیستم قادر نبود سطح عملیات خاص و وضعیت داخلی اپراتورها را در نظر بگیرد، بنابراین در مدیریت بهتر و دقیق‌تر منابع محدودیت‌هایی داشت. همچنین، نقص در جمع‌آوری داده‌های telemetry و کمبود در ارائه دید جامع، منجر به کاهش کارایی کامل آن می‌شد و باعث می‌شد نتواند به بهترین شکل نیازهای در حال تغییر سیستم‌های اجرایی را برآورده کند.

در مقابل، نسخه جدید اسکیلر متن‌باز Apache Flink، بر مبنای تحلیل وضعیت هر وظیفه به صورت جداگانه عمل می‌کند. این سیستم قادر است تا بر رفتارهای داخلی هر وظیفه بر پایه داده‌های زمان واقعی نظارت کرده و تصمیم‌گیری‌های هوشمندانه‌تری انجام دهد. نتیجه این رویکرد، صرفه‌جویی قابل توجه در مصرف منابع است؛ به طوری که برای یکی از تیم‌ها، این سیستم به طور سالانه ۵۸ درصد در هزینه‌های محاسباتی صرفه‌جویی ایجاد کرده است. این دستاورد نشان‌دهنده اهمیت و تاثیر فناوری‌های متن‌باز در بهبود کارایی سیستم‌های بزرگ مقیاس است.

در نهایت، این تحولات نشان می‌دهند که انتقال به سیستم‌های متن‌باز و هوشمند، نه تنها از نظر صرفه‌جویی اقتصادی بلکه از منظر بهبود عملکرد و کنترل دقیق‌تر منابع، گامی مثبت و ضروری در مسیر توسعه فناوری‌های داده‌محور است.

#هوشمندسازی #فناوری_متن_باز #صرفه‌جویی_درمنابع #پیشرفت_تکنولوژی

🟣لینک مقاله:
https://netflixtechblog.com/a-tale-of-two-flink-autoscalers-e9f6a1b1492b?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy