🔵 عنوان مقاله
Scaling Recommendation Systems with Request-Level Deduplication (9 minute read)

🟢 خلاصه مقاله:
در مهندسی پینترست، راه‌حلی نوین برای گسترش سیستم‌های پیشنهادی ارائه شده است که بر اساس حذف تکراری در سطح درخواست استوار است. این رویکرد به کمک تکنیک‌هایی مانند تنظیم داده‌ها بر اساس شناسه کاربری و درخواست در قالب سیستم‌های مدیریت داده‌های بزرگ مانند Apache Iceberg، باعث کاهش حجم داده‌ها و بهبود کارایی شده است. با سازماندهی داده‌ها به این شکل، پینترست توانسته است هر درخواست یکتا را تنها یک‌بار در فرآیندهای پردازش و ذخیره سازی ثبت کند، که این امر موجب کاهش چشمگیر نیاز به فضای ذخیره‌سازی و افزایش سرعت پردازش می‌شود.

برای این منظور، سیستم از یک تبدیل‌کننده زمینه جداگانه که از حافظه کش کلید-مقدار در فرآیند رتبه‌بندی استفاده می‌کند بهره می‌برد. این تکنیک‌ها باعث می‌شوند سیستم بهتر بتواند درخواست‌های مشابه را شناسایی و حذف کند، در نتیجه کیفیت توصیه‌ها حفظ شده و در عین حال منابع مورد نیاز کاهش می‌یابد. علاوه بر این، تیم مهندسی پینترست با پیاده‌سازی اصلاحاتی هدفمند مانند استفاده از SyncBatchNorm و ماسک کردن سطح کاربر در حین آموزش، به بهبود فرآیندهای یادگیری ماشین کمک کرده است. این تغییرات در کنار سایر تکنیک‌ها، سیستم پیشنهاددهی را قادر می‌سازد که در مقیاس بزرگ به شکلی مؤثر و پایدار عمل کند.

در نتیجه، این نوآوری در کاهش تکرار و بهبود کارایی سیستم‌های پیشنهاد دهنده، نشانگر پیشرفت قابل توجه در مهندسی داده و یادگیری ماشین است. استفاده از تکنیک‌های پیشرفته مانند درخواست‌سطح ددوبلیکیشن، راهکارهای عملی برای بهبود عملکرد سرویس‌های بزرگ و پیچیده را فراهم می‌آورد و امکان ارائه پیشنهادهای دقیق و سریع‌تر به میلیون‌ها کاربر را فراهم می‌سازد.

#سیستم_پیشنهاد #یادگیری_ماشین #پایگاه_داده #هوش_مصنوعی

🟣لینک مقاله:
https://medium.com/pinterest-engineering/scaling-recommendation-systems-with-request-level-deduplication-93bd514142d9?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy