مهندسی و علم داده

جلسه چهل و هفتم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

مدل سازی انبار داده ها
#Datawarehouse

@BIMining

شرکت اوراکل فریم ورک رابط برنامه نویسی جدید "بانکداری باز" خود را ایجاد می کند.

#open_banking #open_api


🔹شرکت اوراکل به پروژه های ابتکاری بانکداری باز روی آورده است که یکی از آنها دربردارنده فریم ورک api های باز بوده و به بانک ها کمک می کند در نوآوری های خود با شرکت های فین تک همکاری کنند.

🔹این شرکت پلتفرم بانکداری باز خود را اوایل ماه اکتبر در کنفرانس Oracle Open World معرفی کرد. این پلتفرم یک پروژه ابتکاری پلتفرم خدماتی (platform as a service) بوده که برای ایجاد همکاری های بیشتر در صنعت مالی بوجود آمده است. شرکت اوراکل این پلتفرم را بعنوان "لازمه ای" بانکداری باز معرفی کرده است.

🔹این راهکار دیجیتال محور (digital first) به بانک ها و دیگر شرکت های فناوری مالی اجازه می دهد تا از api باز شرکت اوراکل برای مسائلی که به تازگی در صنعت فین تک بروز کرده است استفاده کنند. همچنین از اوایل این ماه این پلتفرم خدمات ابری فناوری بلاکچین را نیز ارائه می دهد.

@BIMining

لینک خبر:
https://goo.gl/4HKtJR

نمونه کد پیاده سازی شده به زبان Rدر OBIEE 12c

شکل2 روش Anomaly Detection

شکل 1پیاده سازی روش خوشه بندی در ابزار OBIEE 12c

پیاده سازی معماری کلان ORE:
معماری فوق در تکنولوژی و ابزارهای ORACLE 12c و OBIEE12c و R بطور کامل پیاده سازی شده است. و نمونه ای از خروجی های آن در ابزار OBIEE 12c به شرح ذیل می باشد در ضمن یکی از مهمترین ویژگی استفاده از ابزار R در پلتفرم اوراکل سرعت بسیار بالای روش های داده کاوی و تحلیلی پیچیده در زمان بسیار کم بوده است که جالب توجه است با سپاس
( عالیشاهی-احمدی-جمشیدی)

پیاده سازی معماری کلان ORE و ORACLE 12c و OBIEE 12c

جلسه چهل و ششم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

خروجي دستور بالا ☝️☝️☝️


@BIMining

#درونیابی_و_هموارسازی:
درونیابی و هموار سازی در R به صور مختلفی قابل اعمال اند که بعضی از آنها را به شرح ذیل می آوریم:
#درونیابی_خطی: تابع ()approx
که بین نقاط انجام می شود.
#درونیابی_با_استفاده_ازمکانیسم
_تابع()spline: نسبت به روش قبل هموار تر است.
#تابع_()smooth.spline:مجموعه نقاطی که قدری هموارتر شده است اما نقاط اصلی را بهم متصل نمی کند.
#مثالی در این باره را در نرم افزار اجرا می کنیم
> x<-1:10

> y<-c(9,7,6,8,5,8,9,6,3,5)

> plot(x,y,cex=2,main="interpolation,smoothing",sub="Reducational")

> lines(spline(x,y,n=100),lty=1)

> points(approx(x,y,xout=seq(1,10,0.1)),pch=1)

> lines(smooth.spline(x,y),lty=2)

> legend("bottomleft",lty=c(1,NA,2),pch=c(NA,1,NA),legend=c("spline","approx",
"smooth.spline"))

@BIMining

https://goo.gl/fjyWDk


٩ ويژگي جديد SQL Server 2017

Administering a SQL Database Infrastructure @BIMining

#آزمون_kpss:
معروفترین آماره برای آزمون فرضیه صفر مبنی بر مانا بودن سری آماره ایست به نام kpss که توسط ("کوویت کووسکی،فیلیپس،اشمیت و شین") معرفی شد.
آماره ی kpss عبارتست از نسبت واریانس نمونه ای بر واریانس بلند مدت، که این واریانس نمونه ای،بطور متناسب مجموع جزیی سری مقیاس بندی شده است.
مدلی که برای آماره ی kpss در نظر گرفته می شود به شکل زیر است:
Υt= α + βt + d Σui + εt
t= 1,2,...,T
که در آن ui و εt هردو کوواریانس مانا و دارای حافظه ی کوتاه مدت با میانگین صفر هستند، {0,1} d ε تحت فرض مقابل بخش تصادفی yt عنصر گام تصادفی می شود، Σui و عنصر اخلال نیز همان εt خواهد بود.
صورت آماره آزمون kpss:
St= Σei
خود آماره آزمون تشکیل شده با فرض صفر:
W= T^-2 Σ st^2/σ^2
.………………………………………………
#آزمون_kpss_در_R:
> install.packages("tseries")
> library(tseries)
> help(kpss.test)
_____________________
@BIMining

#ﺁﺯﻣﻮﻥ_ﺍﻧﺪﺭﺳﻦ_ﺩﺍﺭﻟﯿﻨﮓ:

ﺍﯾﻦ ﺁﺯﻣﻮﻥ ﺩﺭ base ﺯﺑﺎﻥ R ﻣﻮﺟﻮﺩ ﻧﯿﺴﺖ ﻭ ﺑﺮﺍﯼ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﺁﻥ ﺑﺎﯾﺪ ﯾﮑﯽ ﺍﺯ ﭘﮑﯿﺞﻫﺎﯼ adTest ، nortest ﯾﺎ ADgofTest ﺭﺍ ﻧﺼﺐ ﮐﻨﯿﺪ ، ﺍﯾﻦ ﺁﺯﻣﻮﻥ ﻫﻢ ﻣﺎﻧﻨﺪ ﺩﻭ ﺁﺯﻣﻮﻥ #شاپیرو_ویلک و #کلموگروف_اسمیرنوف ﻫﻨﮕﺎﻣﯽ ﮐﻪ P-value ﺑﯿﺸﺘﺮ ﺍﺯ 0.05
‏( ﺑﺎ ﺁﻟﻔﺎ ﯾﺎ ﺳﻄﺢ ﺍﻃﻤﯿﻨﺎﻥ ‏) ﺑﺎﺷﺪ ﻧﺮﻣﺎﻝ ﺑﻮﺩﻥ ﺩﺍﺩﻩ ﺭﺍ ﻧﺸﺎﻥ ﻣﯽﺩﻫﺪ . #ﺍﻧﺪﺭﺳﻦ_ﺩﺍﺭﻟﯿﻨﮓ ﻫﻢ ﻫﻤﺎﻧﻨﺪ K-s ﻗﺎﺑﻠﯿﺖ ﺍﺳﺘﻔﺎﺩﻩ ﺑﺮﺍﯼ ﺗﻮﺯﯾﻊﻫﺎﯾﯽ ﻏﯿﺮ ﺍﺯ ﺗﻮﺯﯾﻊ ﻧﺮﻣﺎﻝ ﺭﺍ ﺩﺍﺭﺩ .
ﺁﺯﻣﻮﻥﻫﺎﯼ ﺩﯾﮕﺮﯼ ﻫﻢ ﺑﺮﺍﯼ ﺑﺮﺭﺳﯽ ﻧﺮﻣﺎﻝ ﺑﻮﺩﻥ ﺩﺍﺩﻩ ﻣﻮﺟﻮﺩ ﺍﺳﺖ ﺍﻣﺎ ﺩﺭ ﺍﮐﺜﺮ مواقع ﺳﻪ ﺁﺯﻣﻮﻥ #شاپیرو_ویلک(shapiro.test)، #کلموگروف_اسمیرنوف (ks.test)و #اندرسون_دارلینگ(ad.test) ﮐﺎﻓﯽ است:

> install.packages("nortest")
> library(nortest)
> help(ad.test)
_______________
@BIMining

#توزیعـنرمال
#Normality_Test

بسیاری از آزمون‌های آماری بر پایه توزیع نرمال ساخته شده‌اند که پیش‌فرض غالب این آزمون‌ها، برقراری نرمال بودن توزیع داده‌های متغیر مورد نظر است. در ادامه نحوه انجام ۶ آزمون برای بررسی نرمال بودن توزیع داده‌های تک متغیری و یک آزمون برای بررسی نرمال بودن توزیع داده‌های چند متغیری در نرم افزار R بیان شده است.

🔸 تعریف یک متغیر
x=rnorm(80,56,9)

🔹 آزمون شاپیرو-ویلکز
shapiro.test(x)

🔸 فراخوانی پکیج nortest
library(nortest)

🔹 آزمون اندرسون-دارلینگ
ad.test(x)

🔹 آزمون Cramer-von Mises
cvm.test(x)

🔹 آزمون Lilliefors (کولموگروف-اسمیرنوف)
lillie.test(x)

🔹 آزمون مجذور کای پیرسون
pearson.test(x)

🔹 آزمون شاپیرو-فرنسیا
sf.test(x)

🔸 فراخوانی پکیج mvnormtest
library(mvnormtest)
🔸 فراخوانی مجموعه داده EuStockMarkets و آماده‌سازی مجموعه‌ داده‌
data(EuStockMarkets)
C <- t(EuStockMarkets[15:29,1:4])

🔹 آزمون نرمال بودن چندمتغیری شاپیرو-ویلکز
mshapiro.test(C)
________________________
@BIMining

جلسه چهل و پنجم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه چهل و چهارم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining