هدوپ

برنامه هدوپ مجموعه ای از برنامه های open source است که امکان انجام محاسبات به صورت پخش شده یا Distributed را برای حجم زیادی از دیتا میدهد. این شبکه میتواند شامل هزاران کامپیوتر و فضای ذخیره سازی باشد که بدین صورت قابلیت اطمینان شبکه را به شدت افزایش میدهد.

برنامه در زبان جاوا نوشته شده است و از قسمت های اصلی Map Reduce ، Haddop Distributed file system و Hadoop common استفاده میکند. این فضا از پردازش موازی و پخش شده استفاده میکند. برنامه map reduce بدین صورت کار میکند که پردازش ها و توابع را به قسمت های کوچکی تبدیل کرده که در یک فضای پخش شده محاسبه شده و در نهایت نتایج را با یکدیگر ترکیب میکند.

از ساختار این برنامه برای ماشین لرنینگ و داده کاوی میتوان استفاده کرد به دلیل اینکه قابلیت های بالایی برای پردازش روی داده های غیر ساختار یافته دارد.

@Datascienceie