طراحی و توسعه‌ی پایپ‌لاین‌های دیتایی مبتنی بر استریم‌های لایومارکت یکی از بخش‌های مهمی بود که در دوره‌ی Intro to Quant انجام دادیم. هدف این بود که بتوانیم بر اساس استریم‌های مختلف، دیتاست‌های متنوعی برای مدل‌سازی و تحلیل آماری قیمت تولید کنیم.

از آنجایی که حجم داده‌ها در بعضی از صرافی‌ها و سیمبل‌ها بسیار زیاد است، لازم است این داده‌ها به‌صورت لحظه‌ای به‌روزرسانی شوند. همچنین ساخت برخی از دسته‌های داده‌ی هیستوریکال زمان‌بر است و نیاز به ذخیره‌سازی در قالب Data Warehouse دارد. در این حالت، استفاده از روش‌هایی مثل Materialized View کمک می‌کند که داده‌ها همیشه به‌روز نگه داشته شوند.