TGViewer
مهندسی و علم داده مهندسی و علم داده @bimining · 3.98K subscribers
Post #970 4.77K
☑️نقشه راه هوش تجاری كلان داده:

· بخش زیر ساخت و ETL :
1- انتخاب و تسلط به ابزار های استخراج، پاکسازی و بارگذاری داده(ETL ) رایج ترین ابزارها ODI در پلتفرم اوراکل، SSIS در پلتفرم مایکروسافت، Sqoop و Flume در پلتفرم بیگ دیتا
2- انتخاب معماری و رویکرد مناسب جهت بارگذاری داده ها در انبار داده (Top down – Button up – Mix up)

نکته: برای اطلاعات بیشتر در مورد معماری های فوق کتابهای انبار داده Kimball و Inman مراجعه شود.برای انتخاب هر کدام از معماری های فوق فاکتورهای بسیار زیادی مطرح هست مثلا سرعت انجام پروژه، حجم و تنوع دیتا، مشخص بودن SCOPE پروژه و ... فاکتورهای تعیین کننده جهت انتخاب یکی از روشهای فوق الذکر است.

3- تسلط در استفاده از تکنولوژی های OLAP، MOLAP،ROLAP و HOLAP و براساس موضوعات مختلف و معماری مورد نیاز در ساخت انبار داده جهت ساخت کیوب
4- تسلط در ایجاد اتصال ابزارهای ETL به دیتا بیس های عملیاتی مانند Structure ,Unstructured DATA و همچنین به Data Warehouse
5- قابلیت استفاده از تکنولوژی های CDC(Change Data Capture) و SCD (Slowly Change Dimension)
6- اتصال ابزار ETL به انواع پایگاه داده ها مختلف مانند Socket ، DB Link ، Web service و ... جهت دریافت و ارسال

· بخش انبار داده:
1- انتخاب و تسلط به یکی از پایگاه داده های مطرح دنیا مانند ORACLE،DB2 ،Microsoft،Mongo DBو... و بر اساس نیازهای تعریف شده
2- ساخت کیوب شامل STAR ، Snow Flake ، Fact Consolation
3- تسلط به مفاهیم QUERY OPTIMIZATION از قبیل : ایجاد پارتیشن بندی ،نحوه ایندکس گذاری ترکیبی و چندتائی ،اکتیو کردن قابلیت IN-MEMORY در سطح SESSION،TABLE SPACE،TABLE و FIELD جهت افزایش کارائی و سرعت دسترسی به دیتای کیوب
4- تسلط MATERIALIZE VIEW،PROCEDURE،FUNCTION و QUERY نویسی در محیط های برنامه نویسی پایگاه داده
5- تسلط به ساخت FACT و DIMENSION برای ساخت FACT بایستی مواردی مثل NUMBER بودن تمامی فیلدها،وجود کلید خارجی،MEASURE ها شرط اولیه و مهم است. برای ایجاد DIMENSION بایستی به مواردی مثل قابلیت سلسله مراتبی بودن فیلدها مانند (سال،فصل، ماه و روز در جدول DATE)، داشتن کلید اصلی جز موارد مهم و اصلی آن به شمار می رود.
6- قابلیت ایجاد ARCHIVE Data در انبار داده جهت مدیریت داده های بلا استفاده و کم اهمیت در طول بازه زمانی(حذف تدریجی داده های بلااستفاده و کم اهمیت بصورت تدریجی و در بازه زمانی تعریف شده و انتقال به پایگاه داده آرشیو)



· بخش داده کاوی و داشبوردهای تحلیلی:
1- مطالعه و تسلط کافی به اسکریپت نویسی مبتنی بر تکنولوژی های MDX،DAX
2- انتخاب و تسلط بر یکی از ابزارهای OBIEE ،BI Microsoft ، Tableau ، Qlikview و ...
3- قابلیت اسکریپت نویسی و استفاده از فانکشن ها در ابزارهای هوش تجاری فوق الذکر
4- اتصال و فراخوانی داشبوردهای هوش تجاری به کیوب داده
5- توانائی ایجاد DRILL DOWN ، ROLL UP ، DICE و SLICE در ابزارهای هوش تجاری جهت تحلیل های چند بعدی
6- تهیه پروتوتایپ داشبوردهای طراحی شده برای استفاده کنندگان و با سطوح دسترسی و امکانات لازم در هر داشبورد مدیریتی و مورد نیاز کسب و کار
7- ایجاد AGENT و ACTION و ارسال گزارشات تحلیلی با شرایط خاص وسطح دسترسی
8- و خدمات متنوع دیگر مثل اتصال مستقیم ریپازیتوری به اکسل،قابلیت استفاده درست و بجا از انواع histogram برای نمایش اطلاعات توصیفی و ترندها،پیاده سازی scorecards ، watch List و ...
9- طراحی و پیاده سازی روش های داده کاوی شامل روش های پیش بینی و توصیفی در ابعاد مختلف
10- پیاده سازی روش های داده کاوی با استفاده از ابزارهای داده کاوی مثل R ، پایتون
11- تحلیل و شناخت کامل از فرایندهای کسب و کار،سیستمهای موجود در بخش های مختلف با همکاری کارشناس خبره کسب و کار
12- استخراج KPI (KEY PERFORMANCE INDICATOR) و CSF (CRITICAL SUCCESS FACTOR) مطابق با مسئله و نیاز تعریف شده توسط کارفرما
13- تعریف سطوح دسترسی کاربران جهت استفاده از داشبوردهای طراحی شده
14- امکان نمایش داشبوردها در ابزارهای موبایل،تبلت و ...

استفاده از قابلیت های prompt و لینک دیتا بین داشبوردهای Master و Slave

سپاس- عالیشاهی
@BIMining
More from @bimining
  1. Oct 1, 2026نکته مهم همین‌جاست: 100M Records ≠ 100M Records Read به همین دلیل: • Partitioning • ORDER…
  2. Oct 1, 2026چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخو…
  3. Sep 4, 2026قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract. در یک سیستم داده، ممکن است یک…
  4. Aug 16, 2026۵ الگوی معماری داده برای ۲۰۲۶ بحث ابزار نیست، بحث الگوست. الگوی غلط = خط لولهٔ مرده. ۱. لا…
  5. Jul 18, 2026ابزار dbt (Data Build Tool) در حال تسخیر دنیای مهندسی داده است. در ادامه لینک قیلمهای آموز…
  6. Jul 11, 2026معماری مدالیون(Medallion Architecture)، سیر تحول داده‌ها را از حالت خام اولیه تا نسخه‌ای ک…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →