مهندسی و علم داده

5 موردی که درباره فین تک ها باید بدانید
@BIMining
معنی فین تک دقیقا چیست؟ چه شرکتها و سازمانهایی از آن استفاده می کنند؟ فین تک ها چه کاری میکنند؟ در چه موضوعاتی فین تک ها فعالیت دارند؟

تخصص و ابزارهای لازم جهت پیاده سازی هوش تجاری در یک سازمان بزرگ @BIMining

تکنیک SCD Type 2 جهت پشتیبانی از این نیازمندی ابداع گردیده است .

یکی از اهداف سیستم های DW/BI نمایش صحیح تاریخچه (history) اطلاعات میباشد . مثلا اگر در زمان های مختلف از یک بازه زمانی خاص گزارش ( مثلا گزارش فروش بر اساس دپارتمانها ) بگیریم مقادیر مندرج در این گزارش نبایستی با گذشت زمان تغیبر یابد .

این کلید اصلی جدید ( و مستقل ) کلید جانشن Surrogate Key نامیده میشود .
در سیستم های ETL و در فاز Load میتوان بااستفاده از کلید طبیعی جدوال Fact را با مقادیر کلید های جانشین load کرد .

راه حل
برای اینکه در طول حیات DW کلید های اصلی جداول Dimension تحت کنترل سیستم DW باشند میتوان از همان روش ساده مرسوم استفاده کرد و از روش های پیچیده اجتناب کرد . یک فیلد جدید با Data Type از نوع integer ایجاد میکنیم که با مقدار یک شروع شده و بصورت متوالی افزایش یابد و پیچیدگی ها را به سیستم ETL انتقال میدهیم . البته در جداول کلید های طبیعی رو هم بعنوان یک ویژگی در جداول Dimension میاوریم

- ممکن هست جدول Dimension مقادیر خود را از چند سیستم عملیاتی مختلف بگیرد که ابن امر ممکن موجب شود کلیدهای طبیعی ناسازگار گردیده ( مثلا data type های مختلف داشته باشند ) و یا تکراری باشند .

کلید طبیعی( natural key) نمی تواند بعنوان primary key انتخاب گردد . به چند دلیل :

- عدم وابستگی کلید اصلی به قوانین کسب و کار سیستم های عملیاتی که در بالا به تفضیل توضیح داده شد .
- اگر بخواهیم تغییرات یک ویژگی موجود در یک جدول Dimension را در طول زمان ردیابی کنیم
( مثلا محل خدمت پرسنل در جدول DimEmployee ) ممکن هست چند رکورد ( اصطلاحا میگیم ورژن ) با مقدار natural key یکسان ایجاد شود ( SCD Type 2 ) .

Dimension Surrogate Key کلید جانشین
در جداول Dimension یک فیلد بایستی بعنوان کلید اصلی primary key معرفی گردد تا بعنوان Foreign Key در جداول Fact مرتبط با آن استفاده گردد .

خلاصش اینکه نیاییم مثلا natural key رو با مقدار DateTime ترکیب کنیم و یک کلید جدید بسازبم . !

نتیجه
بهترین کلید جهت primary key کلیدی خواهد بود که فرمت آن مستقل از فرآیند های کسب و کار سیستم های عملیاتی بوده و در ضمن پیجیده نباشند .

در Data Warehouse هنگامیکه بخواهیم برای جداول مثلا DimEmployee یک کلید منحصر بفرد (primary key ) ایجاد کنیم بایستی این کلید پایدار (durable) بوده و مثلا در موقعیت هایی نظیر مثال فوق تغییر نکند .

کلید های طبیعی مورد استفاده در سیستم های عملیاتی معمولا از قوانین کسب و کار خارج از فضای سیستم DW/BI تبعیت و پیروی میکنند . برای مثال کد پرسنلی برای یک فرد خاص ممکن است تغییر کند . چطور ؟ اگر کارمندی استعفا داده و بعد از مدتی مجددا استخدام گردد در اکثر سیستم های عملیاتی کد پرسنلی جدیدی به او اختصاص میابد .

Natural Key کلید طبیعی
همان کلید های اصلی مورد استفاده در سیستم های عملیاتی هستند . مثل کد پرسنلی

در ابتدا به صورت مختصر مفهوم کلید طبیعی (Natural Key) و کلید جانشین (Surrogate Key) شرح داده میشود .

#BI
ادامه مرور سریع و اجمالی به موضوع BI
با سلام خدمت دوستان
در ادامه مبحث Slowly Changing Dimension Attribute ، نوع Type 2 توضیح داده خواهد شد .

⚫️ یکی ﺍﺯ ﺍﺳﺎﺗﯿﺪ ﻗﺪﯾﻤﯽ ﺩﺍﻧﺸﮕﺎﻩ ﺷﺮﯾﻒ ﻣﯽ ﮔﻔﺖ: ﯾﮏ ﺑﺎﺭ ﺩﺍﺷﺘﻢ ﺑﺮﮔﻪ ﻫﺎﺭﻭ ﺗﺼﺤﯿﺢ ﻣﯿﮑﺮﺩﻡ، ﺑﻪ ﺑﺮﮔﻪ ﺍﯼ ﺭﺳﯿﺪﻡ ﮐﻪ ﻧﺎﻡ ﻭ ﻧﺎﻡ ﺧﺎﻧﻮﺍﺩﮔﯽ ﻧﺪﺍﺷﺖ. ﺑﺎ ﺧﻮﺩﻡ ﮔﻔﺘﻢ ﺍﯾﺮﺍﺩﯼ ﻧﺪﺍﺭﺩ، ﺑﻌﯿﺪ ﺍﺳﺖ ﮐﻪ ﺑﯿﺶ ﺍﺯ ﯾﮏ ﺑﺮﮔﻪ ﻧﺎﻡ ﻧﺪﺍﺷﺘﻪ ﺑﺎﺷﺪ. ﺍﺯ ﺗﻄﺎﺑﻖ ﺑﺮﮔﻪ ﻫﺎ ﺑﺎ ﻟﯿﺴﺖ ﺩﺍﻧﺸﺠﻮﯾﺎﻥ ﺻﺎﺣﺒﺶ ﺭﺍ ﭘﯿﺪﺍ ﻣﯿﮑﻨﻢ. ﺗﺼﺤﯿﺢ ﮐﺮﺩﻡ ﻭ 17/5 ﮔﺮﻓﺖ. ﺍﺣﺴﺎﺱ ﮐﺮﺩﻡ ﺯﯾﺎﺩ ﺍﺳﺖ، ﮐﻤﺘﺮ ﭘﯿﺶ ﻣﯽ ﺁﯾﺪ ﮐﺴﯽ ﺍﺯ ﻣﻦ ﺍﯾﻦ ﻧﻤﺮﻩ ﺭﺍ ﺑﮕﯿﺮﺩ. ﺩﻭﺑﺎﺭﻩ ﺗﺼﺤﯿﺢ ﮐﺮﺩﻡ 15 ﮔﺮﻓﺖ. ﺑﺮﮔﻪ ﻫﺎ ﺗﻤﺎﻡ ﺷﺪ. ﺑﺎ ﻟﯿﺴﺖ ﺩﺍﻧﺸﺠﻮﯾﺎﻥ ﺗﻄﺎﺑﻖ ﺩﺍﺩﻡ ﺍﻣﺎ ﻫﯿﭻ ﺩﺍﻧﺸﺠﻮﯾﯽ ﻧﻤﺎﻧﺪﻩ ﺑﻮﺩ. ﺗﺎﺯﻩ ﻓﻬﻤﯿﺪﻡ ﮐﻠﯿﺪ ﺁﺯﻣﻮﻥ ﺭﺍ ﮐﻪ ﺧﻮﺩﻡ ﻧﻮﺷﺘﻪ ﺑﻮﺩﻡ ﺗﺼﺤﯿﺢ ﮐﺮﺩﻡ.

🔵 ﺁﺭﯼ، ﺍﻏﻠﺐ ﻣﺎ ﻧﺴﺒﺖ ﺑﻪ ﺩﯾﮕﺮﺍﻥ ﺳﺨﺖﮔﯿﺮﺗﺮﯾﻢ ﺗﺎ ﻧﺴﺒﺖ ﺑﻪ ﺧﻮﺩﻣﺎﻥ ﻭ ﺑﻌﻀﻰ ﻭﻗﺘﻬﺎ ﺍﮔﻪ ﺧﻮﺩﻣﻮﻥ ﺭﻭ ﺗﺼﺤﻴﺢ ﻛﻨﻴﻢ ﻣﻴﺒﻴﻨﻴﻢ ﺑﻪ ﺍﻭﻥ ﺧﻮﺑﻲ ﻛﻪ ﻓﻜﺮ ﻣﻴﻜﻨﻴﻢ ﻧﻴﺴﺘﻴﻢ.
@BIMining

Top 11 Business Intelligence and Analytics Trends for 2017 @BIMining

📊ده دانشگاه برتر دنیا در رشته علوم کامپیوتر _۲۰۱۶ 🎓

@BIMining