🔵 عنوان مقاله
TimeSeries Tiered Storage Journey: Kafka/Flink Streams to Native Cassandra Cold Reads (6 minute read)

🟢 خلاصه مقاله:
در دنیای مدیریت داده‌های زمانی بزرگ، طراحی سیستم‌هایی کارآمد و مقیاس‌پذیر اهمیت زیادی دارد. شرکت نتفلیکس با توسعه «سطح‌بندی ذخیره‌سازی زمانی» (TimeSeries Tiered Storage) توانسته است حجم عظیمی از داده‌های زمانی چندپتابایتی را با کارایی بالا مدیریت کند. در این سیستم، داده‌های قدیمی‌تر و غیرقابل تغییر که دیگر نیازی به دسترسی سریع ندارند، از حافظه گرم در کاساندرا به ذخیره‌سازی ارزان‌قیمت‌تر مانند S3 منتقل می‌شوند. این استراتژی به کاهش هزینه‌ها و استفاده بهینه از منابع زیرساختی کمک می‌کند، در حالی که سرعت بازیابی داده‌های قدیمی‌تر همچنان مناسب است.

در نسخه اولیه این سیستم، از فناوری‌هایی مانند کافکا و فلینگ بهره گرفته شد. داده‌ها در قالب پارکت به‌وسیله این ابزارها در حالتی پیوسته و مداوم به سمت S3 هدایت می‌شدند و روزانه عملیات فشرده‌سازی مجدد بر روی داده‌ها انجام می‌گرفت. این رویکرد امکان ارائه خوانش‌های سرد با کم‌ترین تأخیر حدود ۵۰۰ میلی‌ثانیه در سطح p۹۹ را فراهم می‌کرد، ولی در عین حال، هزینه عملیاتی آن بسیار بالا بود و نیازمند زیرساخت‌های قدرتمند و نگهداری مداوم بود.

در اصلاحات بعدی، نتفلیکس تصمیم گرفت تا از قابلیت‌های بومی کاساندرا برای خوانش در سطح سرد بهره‌مند شود. این سامانه به طور مستقیم از نسخه‌های پشتیبان S3، که حاوی داده‌های فشرده سرد هستند، خوانش می‌کند. این رویکرد نه تنها حجم داده‌هایی که می‌توان مدیریت کرد را افزایش داد، بلکه زمان پاسخ‌دهی شدیداً بهبود یافته است؛ به‌طوری که latency سطح p۹۰ حدود ۳۰ درصد کاهش یافته است. این تغییرات، باعث شد که سیستم بتواند به طور مؤثرتری نیازهای عملیاتی و تحلیل‌های بزرگ‌مقیاس را برآورده کند، بدون اینکه هزینه‌ها و پیچیدگی‌ها افزایش یابند.

در نتیجه، این مسیر تحول در ذخیره‌سازی داده‌های زمان‌بندی شده نمونه‌ای از نوآوری در حوزه داده‌های بزرگ است که توازنی هوشمندانه میان هزینه، کارایی و مقیاس‌پذیری برقرار می‌کند و به سازمان‌ها کمک می‌کند تا داده‌های تاریخی خود را به بهترین شکل مدیریت کنند.

#ذخیره‌سازی_زمانی #کاساندرا #دیتای_بزرگ #مدیریت_داده

🟣لینک مقاله:
https://netflixtechblog.medium.com/timeseries-tiered-storage-journey-kafka-flink-streams-to-native-cassandra-cold-reads-e59d597c9d60?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy