TGViewer
مهندسی و علم داده مهندسی و علم داده @bimining · 3.98K subscribers
Post #381 56

Forwarded from Big Data & Fraud

#آموزشی
#بیگدیتا
#بیگ_دیتا_چیست_و_چرا_اهمیت_دارد؟ ⭐️قسمت دوم⭐️
تعریف بیگ دیتا :
@BigDataMaster
در سال 2001، تحلیلگر صنعت، داگ لنی (که اکنون با گارتنر کار می­ کند)، بیگ دیتا را به صورت سه V تعریف کرد: حجم (Volume)، سرعت (Velocity) و تنوع (Variety).

حجم: فاکتورهای بسیاری به افزایش حجم داده ­ها کمک می­ کند. داده­ های بر پایه تراکنش ذخیره شده در طی سالیان، داده ­های غیرساختارمند سرازیر شده از رسانه ­های اجتماعی؛ مقدار در حال افزایش داده­ های ماشین-به-ماشین و سنسور جمع ­آوری شده. در گذشته، حجم انبوه داده یک مسئله ذخیره کردن بود. اما با کاهش هزینه ­های ذخیره، مسائل دیگری سر بر می ­آورند؛ شامل چگونگی تعیین ارتباط در حجم زیاد داده­ ها و چگونگی استفاده از علم تجزیه و تحلیل به منظور ایجاد ارزش از داده ­های مرتبط.
@BigDataMaster
سرعت: داده­ ها با سرعتی بی ­سابقه وارد شده و باید در زمان مناسب به سراغ آن­ها رفت. تگ­ های RFID، سنسورها و اندازه­ گیری هوشمند، نیاز به سر و کله زدن با جریانات داده را در اولین زمان نزدیک به اکنون را ایجاد می­ کنند. واکنش سریع به کار با سرعت داده ­ها، چالشی برای بیشتر سازمان­ هاست.
@BigDataMaster
تنوع: داده­ ها به شکل­ های گوناگونی وارد می­ شوند. داده ­های عددی ساختاریافته در پایگاه­ های داده سنتی؛ اطلاعات ایجاد شده از برنامه­ های کاربردی کسب ­و­کار؛ اسناد متنی غیرساختاریافته، ایمیل، صدا و تراکنش­ های مالی. مدیریت، ادغام و حاکمیت بر انواع گوناگون داده، چیزی است که بسیاری از سازمان­ ها هنوز با آن درگیرند.
More from @bimining
  1. Oct 15, 2026روشی که داده‌ها را جابه‌جا و پردازش می‌کنیم به‌سرعت در حال تغییر است. ETL → ELT → Streamin…
  2. Oct 1, 2026نکته مهم همین‌جاست: 100M Records ≠ 100M Records Read به همین دلیل: • Partitioning • ORDER…
  3. Oct 1, 2026چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخو…
  4. Sep 4, 2026قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract. در یک سیستم داده، ممکن است یک…
  5. Aug 16, 2026۵ الگوی معماری داده برای ۲۰۲۶ بحث ابزار نیست، بحث الگوست. الگوی غلط = خط لولهٔ مرده. ۱. لا…
  6. Jul 18, 2026ابزار dbt (Data Build Tool) در حال تسخیر دنیای مهندسی داده است. در ادامه لینک قیلمهای آموز…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →