پروژه‌های کلان داده؛ واقعیت تا شکست!

http://tiny.cc/big-data-architecture

کلان داده یا Big Data اصطلاحی برای مجموعه داده‌های حجیم، متنوع و دارای نرخ تولید بسیار بالا می‌باشد که با ابزارهای سنتی امکان ذخیره‌سازی، نگه‌داری و تحلیل آن وجود ندارد. به‌عنوان‌مثال راه‌اندازی یک شبکه اجتماعی همانند تلگرام یا توییتر با توجه به میزان حجم دادگان، تنوع در داده‌ها(متن، تصویر، صوت و...) و نرخ تولید داده‌ها نیازمند بهره‌گیری از پلتفرم‌ها و ابزارهای کلان داده هست.

با توجه به کاربردها و قابلیت‌های این حوزه در کشور، پروژه‌های متعددی با محوریت Big Data در شرکت‌ها و سازمان‌های مختلفی در صنایع بانکداری، تلکام، بیمه و... آغاز شده است. پروژه‌های که بعضاً با شکست مواجه شده‌اند. شکستی که علاوه‌ بر ایجاد مشکلات سازمانی و هدر رفتن منابع، سبب کاهش اعتماد شرکت‌ها به قابلیت‌های تحلیل داده و کلان داده نیز می‌شود.

مشکلاتی از قبیل توجه صرف به ابزارهای فنی، عدم تدوین استراتژی‌های پروژه، عدم شناخت از نیازمندی‌های کارفرما، خلأ تحلیل نیازمندی‌ها و مهارت‌های موردنیاز حین پروژه، مدیریت توقع و مشکلات سازمانی از رایج‌ترین دلایل این شکست‌ها هست.

در ادامه یک معماری منطبق با اکوسیستم آپاچی هدوپ(Hadoop) به‌عنوان اکوسیستم مرجع کلان داده جهت مدیریت پروژه‌های کلان داده پیشنهاد می‌شود. معماری زیر از 10 لایه و در دو بخش فنی و کارکردی تشکیل‌شده است. لایه‌هایی که تمامی مؤلفه‌های مؤثر در پروژه‌های Big Data شامل زیرساخت، مدیریت داده، تحلیل، امنیت و... را پوشش خواهد داد.

لایه‌های معماری کلان داده:
1- لایه منابع داده (Data Sources)
2- لایه فروبری داده (Ingestion Layer)
3- لایه زیرساخت هدوپ (Hadoop Infrastructure Layer)
4- لایه ذخیره‌سازی هدوپ (Hadoop Storage Layer)
5- لایه مدیریت سکو هدوپ (Hadoop Platform Management Layer)
6- لایه انبار داده (Data Warehouses)
7- لایه موتورهای تحلیلی (Analytics Engines)
8- لایه مصورسازی (Visualization Layer)
9- لایه امنیت (Security Layer)
10- لایه نظارت (Monitoring Layer)

قابل‌ذکر است که در تمامی لایه‌های فوق گام‌های امکان‌سنجی، ارزیابی بلوغ، تحلیل نیازمندی‌ها و... به‌صورت کامل و جامع می‌بایست انجام پذیرد.

مؤلفه‌های مقیاس‌پذیری، میزان دسترس‌پذیری، قابلیت نگه‌داری، کارایی و... نیز به‌عنوان کارکردهای غیرعملیاتی نیز به‌صورت مجزا باید مورد تحلیل و بررسی قرار گیرند.

پی‌نوشت:
طبق بررسی موسسه گارتنر بیش از 60 درصد پروژه‌های Big Data در سال 2017 نیز با شکست مواجه شده‌اند. این عدد قابل‌تأمل نشان از پیچیدگی‌های گسترده در اجرا و پیاده‌سازی پروژه‌های Big Data در سطح جهانی نیز هست. مشکلاتی که بعضاً علل آن را باید در حوزه‌های غیر تکنیکال جست.

ارادتمند
محمدرضا محتاط

@DataAnalysis