✅نتفلیکس هر روز ۵ پتابایت لاگ (۱۰.۶ میلیون رویداد در ثانیه) را با ClickHouse پردازش می‌کند و نتایج را در کمتر از ۱ ثانیه برمی‌گرداند – مناسب برای ۴۰ هزار سرویس کوچک و ۳۰۰ میلیون کاربر.

📕سه ترفند کلیدی نتفلیکس
۱. ارسال سریع داده‌ها: به جای روش معمولی JDBC، کد مخصوص ساختند که داده‌ها را فشرده (LZ4) و با پروتکل native می‌فرستد. نتیجه: CPU و RAM کمتر، سرعت بیشتر از روش‌های آماده.

۲. گروه‌بندی لاگ‌ها بدون تأخیر: regex جستجوی متنی پیچیده را با lexer کامپایل‌شده (JFlex) جایگزین کردند – ۸–۱۰ برابر سریع‌تر، چون regex در ۱۰ میلیون رویداد در ثانیه قفل می‌کند.

۳. جستجوی سریع در برچسب‌ها: برچسب‌ها مثل ID سرویس را در ۳۱ جدول کوچک با LowCardinality تقسیم کردند به جای یک map بزرگ . زمان جستجو از ۳ ثانیه به ۰.۷ ثانیه رسید.
✅ کاربرد برای بانک‌ها
داده‌های تازه (hot tier) در ClickHouse، داده‌های قدیمی در Iceberg، و API هوشمند. برای ۴۰ میلیون تراکنش روزانه بانکی، همین ترفندها (ارسال سریع + schema بهینه + تقسیم داده) کلید fraud detection و تحلیل realtime است.

@BIMining