⚠️این اینفوگرافیک به‌صراحت ادعا می‌کند که در سال ۲۰۲۶، معماری ELT (استخراج، بارگذاری، سپس تبدیل) به طور کامل جایگزین روش سنتی ETL (استخراج، تبدیل، سپس بارگذاری) شده و ابزار dbt به عنوان سلطان بلامنازع تحول داده (Data Transformation) معرفی شده است!

⭕️مشکل روش قدیم (ETL): انباره‌های داده‌ی قدیمی فقط داده‌های ساختاریافته را پشتیبانی می‌کردند، بنابراین مجبور بودید داده را پیش از بارگذاری در یک سرور جداگانه تبدیل کنید که هزینه‌بر و کند بود.
· تغییر اساسی: انباره‌های مدرن (مانند Snowflake و BigQuery) اکنون از داده‌های ساختاریافته، نیمه‌ساختاریافته و بدون‌ساختار پشتیبانی می‌کنند. بنابراین منطقی است که داده را خام بارگذاری کرده و بعداً تبدیل کنیم (ELT).
· دلیل موفقیت dbt:
· مبتنی بر SQL (یادگیری آسان برای تحلیل‌گران).
· به همراه بهترین شیوه‌های مهندسی نرم‌افزار (کنترل نسخه، تست‌نویسی، مستندسازی).
· شجره‌نامه داده (Lineage) را به‌صورت خودکار نمایش می‌دهد.
ادامه دارد....
#DataEngineering
#ETL
#ELT
@toobabigdatascience