Всем привет! На связи Валерия Елпатьевская, ментор курса «Инженер данных» 👋🏻
Порешаем задачу вместе?
Проверяем базу: SQL, дедупликацию, инкрементальную загрузку и Data Quality.
Данные:
Есть таблица
orders: (order_id INT, order_date DATE, updated_at TIMESTAMP, status VARCHAR, amount DECIMAL), где amount — сумма заказа в валюте.Бизнес-требования:
👉🏻 Отчёт формируется каждый день в 09:00 за вчерашний день.
👉🏻 В расчёт берём только заказы со статусом
paid. 👉🏻 Из-за ретраев микросервисов бывают дубли
order_id. Если статус менялся, учитываем последнее состояние (updated_at макс). 👉🏻 Нужно посчитать: кол-во заказов, сумму выручки, средний чек.
Что нужно сделать:
✍🏻 Написать SQL-запрос (дедупликация + фильтр + агрегаты);
✍🏻 Спроектировать таблицу-витрину (поля + типы данных);
✍🏻 Описать 3-4 шага пайплайна загрузки;
✍🏻 Добавить 2 проверки качества данных (Data Quality).
Формат ответа: тезисно. Код для дага в Airflow не нужен.
Попробуйте решить самостоятельно в комментариях, а завтра разберём вместе!
📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS