مهندسی و علم داده

جلسه بیست و هشتم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه بیست و هفتم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

سلام. استفاده از کتاب و نشر آن بلامانع می باشد. فقط لطفا منبع ذکر شود.

آموزش نصب Flink در Ubuntu 16.04 :

1- کلیدهای ctrl + alt + t را فشار دهید تا یک ترمینال جدید باز شود
2- سپس نیاز به نصب java دارید (میتوانید از دستور java --version ) برای بررسی نسخه جاوا سیستم استفاده کنید
3- دستورات زیر را به ترتیب وارد کنید :

sudo add-apt-repository ppa:webupd8team/java
sudo apt update
نیار به VPN دارید 😊 :
sudo apt install oracle-java8-installer
sudo apt install oracle-java8-set-default

برای چک کردن نصب جاوا :
java -version

4- ابزار فلینک را از سایت رسمی دانلود کنید
5- دستورات زیر را به ترتیب وارد کنید (نصب در فولدر Downloads)

cd ~/Downloads
tar xvzf flink-1.3.1-bin-hadoop27-scala 2.11.tgz
cd flink-1.3.1/bin
./start-local.sh

بررسی وضعیت اجرا :
jps

6- با ‌Browser مورد علاقه خود به آدرس
localhost:8081
روجوع کنید

فلینک بصورت لوکال نصب شد
@BIMining

دومین دوره مفاهیم و کاربردهای هوش تجاری اوراکل 12c

بزودی فیلم کامل آموزشی زبان R بهمراه مستندات فارسی از صفر تا 100 و بتدریج در این کانال جهت استفاده علاقمندان قرار خواهد گرفت. @BIMining

جلسه بیست و ششم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه بیست و پنجم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

هوش مصنوعی علاوه بر مزیت‌های بی‌شماری که با خود به ارمغان آورده ولی از طرف دیگر تهدیدی جدی برای مشاغلی است که انسان‌ها انجام می‌دهند. طبق بررسی‌های صورت گرفته انتظار می‌رود تا سال 2020 میلادی بیشتر از 5 میلیون نفر به‌دلیل روی کار آمدن #AI از کار بی‌کار شوند. ولی در این بین برخی از صنایع بیشتر از بقیه در معرض خطر هستند:

🔴 کارگران ساختمانی با 19 درصد

🔴 بانک‌داری با 18 درصد

🔴 ساخت‌وساز با 10 درصد

🔴 حمل‌ونقل عمومی با 9 درصد

🔴 تحلیل‌ و محاسبات مالی با 9 درصد

🔴 شرکت‌های بیمه با 8 درصد

🔴رانندگان تاکسی با 7 درصد

🔴کشاورزی با 6 درصد

🔴برقراری نظم و امنیت با 5 درصد

🔴بهداشت و درمان / بیمارستان‌ها با 4 درصد

🔴علوم پایه با 4 درصد

@BIMining

جلسه بیست و چهارم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

⭕️هوش تجاری در حال تحول کسب‌وکارهاست⭕️
✍🏻نویسنده: فرزاد مینویی

#روش‌های_تحلیلی_کسب‌وکار, #هوش_تجاری

اگرچه در ایران به‌تدریج مدیران در حال آشنایی با مفاهیم هوش تجاری هستند، ولی شاید کمتر آگاه باشند که مدل‌های کسب‌وکار تحت تأثیر این رویکرد در حال تغییر هستند. این تحول در مدل ذهنی مدیران ایرانی باید صورت گیرد. در اینجا به چند روند مهم اشاره می‌کنم:

🚩داده به‌عنوان هدف نه محصول جانبی

داده به‌قدری در کسب‌وکارها اهمیت یافته است که امروزه دیگر هدف اصلی شرکت‌های پیشرو عرضه خود محصول فیزیکی به بازار نیست، بلکه داده‌ای که از آن طریق جمع‌آوری می‌کنند، برایشان اولویت اصلی دارد. درگذشته داده محصول جانبی ناشی از فروش یک کالا یا خدمت بود. امروزه هدف اصلی از فروش یک کالا جمع‌آوری داده و به دنبال آن بهره‌گیری از هوش تجاری برای تجزیه‌وتحلیل داده است. درواقع کالا به یک کانال جمع‌آوری داده تبدیل شده است. به‌این‌ترتیب قابل توضیح است که چرا امروزه این‌همه خدمات رایگان مانند ایمیل مجانی رو به گسترش است. وقتی الگوریتم‌ها تشخیص دهند، شما در ایمیل خود بیشتر از کلمه “ورزش” استفاده کردید، تبلیغات کالاهای ورزشی بیشتر به شما عرضه می‌شود.

🚩محصولات داده‌-محور مرزهای صنایع مختلف را کم‌رنگ کرده‌اند

شرکت نایکی (Nike) را در نظر بگیرید. اگر از همه بپرسید نایکی در چه صنعتی فعال است احتمالاً خواهند گفت صنعت لوازم ورزشی یا پوشاک. این تصور البته درست است. سال‌ها نایکی در این صنعت فعال بوده است. در سال ۲۰۱۲ نایکی محصولی را تحت عنوان FuelBand به بازار داد. این محصول شبیه یک ساعت مچی است که اطلاعات مربوط به تعداد گام‌هایی که روزانه برمی‌دارید و یا الگوهای خواب را ثبت و ذخیره می‌کند. این محصول بسیاری از پیش‌فرض‌ها مربوط به مدل کسب‌و‌کار نایکی را به چالش می‌کشد.

اول این‌که FuelBand یک محصول با فنّاوری بالا با انواع حسگرها و قطعات الکترونیکی است. بدین شکل نایکی وارد کسب‌وکار با فنّاوری پیشرفته شده است. دوم، برای استفاده بهتر از این محصول، یک نرم‌افزار برای استفاده در گوشی‌های هوشمند یا کامپیوترهای شخصی طراحی شده، پس نایکی وارد کسب‌وکار نرم‌افزار هم شده است. سوم داده‌های این نرم‌افزار اکنون نایکی را از الگوی خواب و فعالیت مشتریانش آگاه می‌کند. حالا می‌توان گفت نایکی وارد حوزه خدمات و یا حتی سلامت هم شده است. درواقع این محصول نایکی را وارد حوزه‌هایی کرد که به پوشاک و مد مربوط نبود. علت اصلی خرید این محصول از سمت مشتریان هم زیبایی ظاهری محصول نبود بلکه داده‌ها و تحلیل‌هایی بود که در اختیار کاربر قرار می‌گرفت.

🚩روش‌های تحلیلی تغییرات بنیادی ایجاد خواهند کرد

به حوزه آموزش توجه کنید. برای دهه‌ها و شاید قرن‌هاست که سیستم آموزشی از یک الگوی ثابت پیروی می‌کند. ما همه کودکان را در یک سن مشخص بدون توجه به پیشینه و استعدادشان می‌گیریم، آن‌ها را داخل یک کلاس می‌کنیم و به همگی یک مطلب درسی ارائه می‌کنیم.
چرا در عصر داده، آموزش مبتنی بر توانایی هر فرد و سرعت دلخواهش تنظیم نشود؟ چرا معلمان بیشتر نقش توانمند‌ساز و تحریک‌کننده خلاقیت نداشته باشند به‌جای آنکه یک سری از متون را بازخوانی کنند؟ اگر کسی مطلبی را بلد است، چرا دوباره آن مطالب را گوش دهد و سریع‌تر به سراغ مطلب دیگری نرود؟ و اگر کسی در مطلبی مشکل دارد، چرا روی آن بیشتر تمرکز نکند؟

در حال حاضر مؤسساتی نظیر آکادمی خان (Khan Academy) و یا Coursera ظهور این‌گونه آموزش را نوید می‌دهند. در قلب این شیوه آموزشی داده و روش‌های تحلیلی قرار داد. داده کمک می‌کند تا مشخص شود دانش‌آموزان کدام ویدئو‌های آموزشی را مشاهده کردند، کدام تمرینات را تکمیل کردند، عملکرد آن‌ها در تمرینات و آزمون‌ها چه بوده است و کدام بخش‌ها و مفاهیم نیاز به بازبینی مجدد توسط دانش‌آموز دارند. درنهایت متناسب با عملکرد دانش‌آموز به‌طور خودکار راهنمایی‌های لازم برای او ارسال شود.

به‌زودی زمانی خواهد رسید که رقابت سازمان‌های داده‌محور در مقابل سازمان‌های سنتی مانند جنگ بین کشوری مسلح به انواع و اقسام سلاح‌های پیشرفته به جنگ الکترونیک، هواپیماهای بدون سرنشین و مانند آن در مقابل قبیله‌ای مسلح به چوب و چماق است. سازمان‌های ایرانی اگر به دنبال رقابت در محیط بین‌المللی و افزایش کارایی خود هستند ناچار به استفاده از روش‌های تحلیلی کسب‌وکار هستند؛ فرقی ندارد شما یک استارتاپ باشید، یک سازمان خصوصی با ده‌ها سال حضور در صنعت باشید، یک سازمان دولتی و خدمات رسان باشید یا یک سازمان مردم‌نهاد برای ارائه خدمات به قشر آسیب‌دیده.

📌منبع: http://analica.ir/business-intelligence/

جلسه بیست و سوم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه بیست و دوم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

@BIMining
توابع نرم افزار R برای توزیع‌های احتمالی
#Probability_Distributions
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
هر توزیعی که در نرم افزار R به کار برده شود، چهار تابع دارد. هر توزیع یک نام ریشه دارد (مثلا نام ریشه برای توزیع نرمال norm است) که این نام ریشه با چهار حرف (یکسان برای همه توزیع‌ها) پیشوندی ترکیب می‌شود تا چهار تابع مد نظر برای هر تابع را تعریف کند. معنی چهار حرف پیشوندی برای توزیع‌ها به این شرح است:
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
1️⃣ حرف «p» برای «probability»: تابع توزیع تجمعی (.c.d.f)
2️⃣ حرف «q» برای «quantile»: معکوس تابع توزیع تجمعی
3️⃣ حرف «d» برای «density»: تابع چگالی (.p.f یا .p.d.f)
4️⃣ حرف «r» برای «random»: تولید متغیر تصادفی که از توزیع مد نظر تبعیت می‌کند
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
برای نمونه برای توزیع نرمال، توابع به صورت dnorm، qnorm، pnorm و rnorm هستند. برای مابقی توزیع‌ها نیز به همین شکل توابع ساخته می‌شوند که در ادامه توابع توزیع‌های موجود در پکیج base نرم افزار R آورده شده است:

_________________________________________
🔹Beta
pbeta➖qbeta➖dbeta➖rbeta
_________________________________________
🔹Binomial
pbinom➖qbinom➖dbinom➖rbinom
_________________________________________
🔹Cauchy
pcauchy➖qcauchy➖dcauchy➖rcauchy
_________________________________________
🔹Chi-Square
pchisq➖qchisq➖dchisq➖rchisq
_________________________________________
🔹Exponential
pexp➖qexp➖dexp➖rexp
_________________________________________
🔹F
pf➖qf➖df➖rf
_________________________________________
🔹Gamma
pgamma➖qgamma➖dgamma➖rgamma
_________________________________________
🔹Geometric
pgeom➖qgeom➖dgeom➖rgeom
_________________________________________
🔹Hypergeometric
phyper➖qhyper➖dhyper➖rhyper
_________________________________________
🔹Logistic
plogis➖qlogis➖dlogis➖rlogis
_________________________________________
🔹Log Normal
plnorm➖qlnorm➖dlnorm➖rlnorm
_________________________________________
🔹Negative Binomial
pnbinom➖qnbinom➖dnbinom➖rnbinom
_________________________________________
🔹Normal
pnorm➖qnorm➖dnorm➖rnorm
_________________________________________
🔹Poisson
ppois➖qpois➖dpois➖rpois
_________________________________________
🔹Student t
pt➖qt➖dt➖rt
_________________________________________
🔹Studentized Range
ptukey➖qtukey➖dtukey➖rtukey
_________________________________________
🔹Uniform
punif➖qunif➖dunif➖runif
_________________________________________
🔹Weibull
pweibull➖qweibull➖dweibull➖rweibull
_________________________________________
🔹Wilcoxon Rank Sum Statistic
pwilcox➖qwilcox➖dwilcox➖rwilcox
_________________________________________
🔹Wilcoxon Signed Rank Statistic
psignrank➖qsignrank➖dsignrank➖rsignrank
_________________________________________
@BIMining

کتاب شاخص های کلیدی عملکرد اثر دیوید پارمنتر

جلسه بیست و یکم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه بیستم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه نوزدهم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

📈سهم شرکتهای IT از بازار آمریکا از سال 2000 تا 2017
@BIMining