⬆️ Через два дня стартуем шестой поток DE-практикума!

Хочу показать, с чего начинают участники. По гайду они поднимают контейнеры Docker и проверяют, что стенд работает. Затем раскладывают исходные файлы в RAW, строят слой STG и пишут первые проверки. Например, ищут позиции заказа, для которых не нашлось самого заказа.

Приложил три скрина из сдач разных участников: запущенный стенд, структура RAW и запрос, который вернул 0 таких позиций в одной загрузке. Именно с таких проверяемых шагов и начинается проект, а подходы не сложно воспроизвести на работе.

У каждого шага есть инструкция и ожидаемый результат. Если что-то не сошлось, можно принести ошибку и скрин в чат, вместе разберём. Весь пайплайн сразу собирать не нужно.

Для старта нужен SQL на уровне JOIN, CTE и оконных функций, базовый Python и готовность работать в терминале. Spark и Airflow заранее знать не нужно: до них дойдём внутри проекта.

📀 Если вы впервые читаете про практикум, вот ещё два поста, чтобы понять, что происходит после первых шагов:
- Почему 112 650 строк после загрузки ещё не означают, что всё правильно
- Как выглядят мои рецензии на домашние задания

🔥 Если хотите присоединиться к потоку, программа и бесплатное демо здесь.

#DEпрактикум