مسیر یادگیری مهندسی داده!

https://bit.ly/2UAJ1cL

مهندسی داده یا Data Engineering یکی از مشاغل جذاب حوزه Data می‌باشد که به‌تازگی نیز توجهات به آن بسیار افزایش‌یافته است. مدیریت جریان داده، استقرار فرایندهای ETL، طراحی معماری، پیاده‌سازی و نگه‌داری انبار داده، توسعه سیستم‌های نرم‌افزاری مبتنی بر داده و... از فعالیت‌ها اصلی یک مهندس داده می‌باشد.

در تصویر زیر مهارت‌ها و گام‌های تبدیل‌شدن به یک مهندس داده بیان‌شده است. به‌صورت کلی جهت کسب تخصص در این فیلد کاری به مهارت‌های زیر نیاز خواهد داشت:

1- دانش تخصصی برنامه‌نویسی:
کسب دانش پایه در حوزه سیستم‌عامل‌های مبتنی بر لینوکس و زبان‌های برنامه‌نویسی همانند Scala بنا به قابلیت‌های آن در حوزه Big Data از مهارت‌های پایه‌ای ورود به این حوزه تخصصی می‌باشد.

2- استقرار فرایند ETL:
طراحی و پیاده‌سازی فرایند ETL بنا به دغدغه‌ها و نیازمندی‌ها، مدیریت جریان داده سازمان و توانایی کار با انواع پایگاه داده‌ها نیز در این فیلد کاری حائز اهمیت است.

3- موتورهای پردازشی کلان داده:
با توجه به افزایش حجم‌ داده‌ها، دو حوزه مهندسی داده و توسعه‌دهنده کلان داده به یکدیگر بسیار نزدیک گردیده‌اند. توانایی کار با موتور پردازشی کلان داده آپاچی Spark از مهارت‌هایی می‌باشد که اگر قصد فعالیت در این حوزه را دارید می‌بایست در خود تقویت نمایید.

4- مدیریت جریان‌های بلادرنگ داده:
یکی از مؤلفه‌های کلان داده حوزه Velocity یا سرعت نرخ تولید داده‌ها می‌باشد. در صورت افزایش حجم دادگان ورودی به سیستم‌های نرم‌افزاری با بهره‌گیری از ابزارها و پلتفرم‌هایی از قبیل Kafka، آپاچی Storm یا Flink امکان مدیریت این دادگان فراهم خواهد گردید.

5- مهندسی یادگیری ماشین:
توسعه مدل‌های مبتنی بر یادگیری ماشین از وظایف اصلی متخصصین داده یا Data Scientist می‌باشد. در حوزه مهندسی داده گام استقرار مدل‌های توسعه داده‌شده و خودکاری سازی این فرایندها صورت می‌پذیرد.

ارادتمند
محمدرضا محتاط

@DataAnalysis