تجربیاتی از طراحی فرایند ETL

فرآیند ETL که معادل Extract ، Transform وLoad است به منظور انتقال اطلاعات از OLTPهای مختلف برای ساخت انبار داده و یک پایگاهOLAP استفاده می گردد.

OLAP 
پایگاهی است که برای تحلیل یا همانAnalytics استفاده می گردد.

در این فرایند باید هدف نهایی به کلی تعیین گردد. مشخص شود که پیچیده ترین تحلیل ها چیست و آنها به چه دیتایی نیاز دارند. در این فرایند باید موارد زیر به درستی در نظر گرفته شوند.

نوع طراحی star یا snow flake انبار داده. (این مورد با در نظر گرفتن بزرگی Dim ها تعیین میشود). نکته: انبار داده از dim و fact تشکیل میشود.

سرعت و کارایی فرایند ETL ، یعنی استفاده مناسب از ابزارها برای سرعت حداکثری

فیلتر کردن دیتای اضافه از مبدا تا دیتای اضافه وارد fact نشود.

ایجاد یک Log برای ذخیره اطلاعات کلی فرایندETL مثلا حجم داده انتقال یافته، تعداد رکورد، زمان انتقال و سایر شاخص ها.

ماژولار طراحی کردن فرایند ETL در صورت نیاز به تغییر دوباره کاری ها حداقل شود.

تعیین شاخص های مغایرت.

ارادتمند شما

نیکزاد

 @Datascienceie