مهندسی و علم داده

راهنماي استفاده از گراف هاي هيستوگرام در داشبوردهاي هوش تجاري


@BIMining

فهرست مطالب كتاب هوشمندسازي كسب و كار
لینک سفارش خرید: s.yaghoubi68@gmail.com @BIMining

كتاب هوشمندسازي كسب و كار با نرم افزار Microsoft Power BI @BIMining

مفهوم و کاربرد Big Data @BIMining

استخدام در شرکت فناپ. رزومه خود را به ایمیل sm.dalirian@gmail.com
بفرستید.

@BIMining

The Ten Most Common Data Science Skills in Job Postings

@BIMining

كتاب انبار داده از ايده تا عمل

@BIMining

#هوش_مصنوعی

به کمک هوش مصنوعی عکس‌های قدیمی را بازیابی کنید!

@BIMining

💠 آموزش #پایتون : جلسه هفتادم

☑️ مباحث گفته شده:
🔘 مسیر فایل ها در پایتون @BIMining

Oracle’s Advanced Analytics - Machine Learning Platform , NewFeatures& Road Map ; Bigger,Better,Faster, More!

‌ 📣 استخدام متخصص پایگاه داده اوراکل در شرکت توسن تکنو
Oracle Database Administrator

شرایط و ویژگی ها:
1- رشته تحصلی: کامپیوتر / نرم افزار
2- آشنا با زبان Oracle SQL
3- آشنا با نصب و راه اندازی Oracle DataBase
4- آشنایی با ابزارهای SQL Plus و SQL Developer
5- آشنایی با سیستم عامل لینوکس
6- آشنایی با مفاهیم بانک های رابطه ای و مفاهیم پایه ای بانک اطلاعاتی Oracle
7- آشنا با Oracle RAC و Oracle DB Guard
8- حداقل دو سال سابقه کار مرتبط

✉️ ارسال رزومه به:
recruitment@tosantechno.com

مهندسی و علم داده pinned a file

♻️چهارتا وبسایت عالی برای دریافت رایگان پایان نامه های خارجی

1️⃣ http://oaktrust.library.tamu.edu/handle/1969.1/2

2️⃣ http://www.diva-portal.org/smash/search.jsf?dswid=-2422

3️⃣ http://dspace.mit.edu/handle/1721.1/7582

4️⃣ http://www.essays.se/


👁‍🗨 @BIMining

اطلاعات تکمیلی کارگاه کلان داده شامل هزینه کارگاه،مدت زمان،سرفصلها ، ابزارها و پلتفرم های مورد استفاده و مکان برگزاری و اطلاعات دیگر

کارگاه بیگ دیتا در روزهای 8 و 9 شهریور97 ارائه دهنده : محمد عالیشاهی **اطلاعات تکمیلی: @BIRegister

☑️نقشه راه هوش تجاری كلان داده:

· بخش زیر ساخت و ETL :
1- انتخاب و تسلط به ابزار های استخراج، پاکسازی و بارگذاری داده(ETL ) رایج ترین ابزارها ODI در پلتفرم اوراکل، SSIS در پلتفرم مایکروسافت، Sqoop و Flume در پلتفرم بیگ دیتا
2- انتخاب معماری و رویکرد مناسب جهت بارگذاری داده ها در انبار داده (Top down – Button up – Mix up)

نکته: برای اطلاعات بیشتر در مورد معماری های فوق کتابهای انبار داده Kimball و Inman مراجعه شود.برای انتخاب هر کدام از معماری های فوق فاکتورهای بسیار زیادی مطرح هست مثلا سرعت انجام پروژه، حجم و تنوع دیتا، مشخص بودن SCOPE پروژه و ... فاکتورهای تعیین کننده جهت انتخاب یکی از روشهای فوق الذکر است.

3- تسلط در استفاده از تکنولوژی های OLAP، MOLAP،ROLAP و HOLAP و براساس موضوعات مختلف و معماری مورد نیاز در ساخت انبار داده جهت ساخت کیوب
4- تسلط در ایجاد اتصال ابزارهای ETL به دیتا بیس های عملیاتی مانند Structure ,Unstructured DATA و همچنین به Data Warehouse
5- قابلیت استفاده از تکنولوژی های CDC(Change Data Capture) و SCD (Slowly Change Dimension)
6- اتصال ابزار ETL به انواع پایگاه داده ها مختلف مانند Socket ، DB Link ، Web service و ... جهت دریافت و ارسال

· بخش انبار داده:
1- انتخاب و تسلط به یکی از پایگاه داده های مطرح دنیا مانند ORACLE،DB2 ،Microsoft،Mongo DBو... و بر اساس نیازهای تعریف شده
2- ساخت کیوب شامل STAR ، Snow Flake ، Fact Consolation
3- تسلط به مفاهیم QUERY OPTIMIZATION از قبیل : ایجاد پارتیشن بندی ،نحوه ایندکس گذاری ترکیبی و چندتائی ،اکتیو کردن قابلیت IN-MEMORY در سطح SESSION،TABLE SPACE،TABLE و FIELD جهت افزایش کارائی و سرعت دسترسی به دیتای کیوب
4- تسلط MATERIALIZE VIEW،PROCEDURE،FUNCTION و QUERY نویسی در محیط های برنامه نویسی پایگاه داده
5- تسلط به ساخت FACT و DIMENSION برای ساخت FACT بایستی مواردی مثل NUMBER بودن تمامی فیلدها،وجود کلید خارجی،MEASURE ها شرط اولیه و مهم است. برای ایجاد DIMENSION بایستی به مواردی مثل قابلیت سلسله مراتبی بودن فیلدها مانند (سال،فصل، ماه و روز در جدول DATE)، داشتن کلید اصلی جز موارد مهم و اصلی آن به شمار می رود.
6- قابلیت ایجاد ARCHIVE Data در انبار داده جهت مدیریت داده های بلا استفاده و کم اهمیت در طول بازه زمانی(حذف تدریجی داده های بلااستفاده و کم اهمیت بصورت تدریجی و در بازه زمانی تعریف شده و انتقال به پایگاه داده آرشیو)



· بخش داده کاوی و داشبوردهای تحلیلی:
1- مطالعه و تسلط کافی به اسکریپت نویسی مبتنی بر تکنولوژی های MDX،DAX
2- انتخاب و تسلط بر یکی از ابزارهای OBIEE ،BI Microsoft ، Tableau ، Qlikview و ...
3- قابلیت اسکریپت نویسی و استفاده از فانکشن ها در ابزارهای هوش تجاری فوق الذکر
4- اتصال و فراخوانی داشبوردهای هوش تجاری به کیوب داده
5- توانائی ایجاد DRILL DOWN ، ROLL UP ، DICE و SLICE در ابزارهای هوش تجاری جهت تحلیل های چند بعدی
6- تهیه پروتوتایپ داشبوردهای طراحی شده برای استفاده کنندگان و با سطوح دسترسی و امکانات لازم در هر داشبورد مدیریتی و مورد نیاز کسب و کار
7- ایجاد AGENT و ACTION و ارسال گزارشات تحلیلی با شرایط خاص وسطح دسترسی
8- و خدمات متنوع دیگر مثل اتصال مستقیم ریپازیتوری به اکسل،قابلیت استفاده درست و بجا از انواع histogram برای نمایش اطلاعات توصیفی و ترندها،پیاده سازی scorecards ، watch List و ...
9- طراحی و پیاده سازی روش های داده کاوی شامل روش های پیش بینی و توصیفی در ابعاد مختلف
10- پیاده سازی روش های داده کاوی با استفاده از ابزارهای داده کاوی مثل R ، پایتون
11- تحلیل و شناخت کامل از فرایندهای کسب و کار،سیستمهای موجود در بخش های مختلف با همکاری کارشناس خبره کسب و کار
12- استخراج KPI (KEY PERFORMANCE INDICATOR) و CSF (CRITICAL SUCCESS FACTOR) مطابق با مسئله و نیاز تعریف شده توسط کارفرما
13- تعریف سطوح دسترسی کاربران جهت استفاده از داشبوردهای طراحی شده
14- امکان نمایش داشبوردها در ابزارهای موبایل،تبلت و ...

استفاده از قابلیت های prompt و لینک دیتا بین داشبوردهای Master و Slave

سپاس- عالیشاهی
@BIMining

نگاهی به معماریSpark SQL @BIMining

نگاهی به معماریSpark SQL @BIMining

💠 آموزش #پایتون : جلسه شصت و نهم

☑️ مباحث گفته شده:
🔘 تقویم در پایتون @BIMining

💢 هوش مصنوعی فیس بوک اخبار جعلی را حذف می‌کند

🔹 فیس بوک این روزها بیش از پیش از هوش مصنوعی استفاده می کند و یکی از روشهای استفاده آن بررسی بیش از یک میلیارد پست به طور روزانه است.

🔹 فیس بوک قصد دارد سیستم مبارزه با خبر جعلی را ارتقا داده و آن را در ۱۴ کشور گسترش دهد و تا پایان سال ۲۰۱۸ نیز در این بخش رشد بیشتری داشته باشد. فیس بوک در این روش موفق شده است تا ۸۰ درصد از اخبار دروغین را حذف کند.

🔹 مارک زاکربرگ اعلام کرد که خبر جعلی یکی از مشکلات بزرگ این شرکت است و تلاش فراوانی در جهت رفع آن خواهد کرد.

🔹 شبکه های اجتماعی مانند توییتر، یوتیوب و فیس بوک همیشه میزبان بسیاری از اخبار و اطلاعات غلط است و این اخبار شبکه های اجتماعی را به شدت تهدید می‌کند. @BIMining