معماری پروژه هوش تجاری مبتنی بر کلان داده:

جهت پیاده‌سازی یک پروژه هوش تجاری مبتنی بر کلان داده نیازمند برخی ابزارها و پلتفرم‌های مطرح Big Data می‌باشد که در ادامه برخی از این ابزارها به تفکیک گام‌های یک پروژه هوش تجاری معرفی خواهند شد:
http://bit.ly/2h7CCPI
1- فرایند ETL:
*این گام یکی از مراحل مهم در پیاده سازی یک پروژه هوش تجاری می‌باشد. در صورتی که از پایگاه داده‌های رابطه همانند Sql, MySQL و... استفاده می کنید جهت انتقال اطلاعات و پیاده سازی فرایند Extract به پلتفرم‌های کلان داده همچون آپاچی هدوپ می‌توانید از پروژه آپاچی Sqoop استفاده نمایید.

* جهت اعمال برخی فرایندهای پردازشی در گام Transform زبان اسکریپتی آپاچی Pig یا نرم افزار آپاچی Nifi جهت این فرایند کاربرد خواهد داشت.

+برخی از Message Broker های مطرح نیز همچون آپاچی Kafka, Flume و Nifi جهت انتقال بلادرنگ اطلاعات از پایگاه داده‌ها و منابع ورودی اطلاعات سازمان شما به انبار داده در گام Load می‌تواند کاربرد داشته باشد.

2- انبار داده:
جهت ایجاد انبارداده از پایگاه داده‌های Nosql یا فایل سیستم‌های مطرح در سطح کلان داده همچون فایل‌سیستم توزیعی هدوپ( HDFS), کاساندرا، HBASE و... بنا به معماری و ویژگی‌های پروژه خود می توانید انتخاب کنید.

3- پردازش تحلیلی آنلاین(OLAP):
جهت ساخت OLAP و مکعب‌های پردازشی در کلان داده ها از پروژه آپاچی Kylin استفاده می‌شود. این معماری از معماری Map Reduce و اتصال به پایگاه داده های رابطه‌ای مانند Hive, Impala و... جهت ساخت مدل تحلیلی پردازشی آنلاین استفاده می‌گردد. جهت تحلیل‌های پیشرفته مبتنی بر یادگیری ماشین و داده‌کاوی هم کتابخانه‌های تحلیلی آپاچی ماهوت در هدوپ و MLlib در اسپارک وجود دارد.
@dataanalysis

ارادتمند
محمدرضا محتاط