Делюсь своими лайв-хаками, которые я наработал. Они реально спасают и облегчают мне жизнь.

Я бы хотел знать о них раньше. Каждый - результат моего громкого фэйла.

🧡 Пишу через CTE — даже если можно в 3 строки.
Мне важнее не коротко, а читаемо. Особенно когда через месяц открываю и не помню, что хотел этим сказать.

🧡 Проверяю результаты
Беру сэмпл в Spark (неделя, месяц, 0.1%),
смотрю глазами, сравниваю руками.
Даже если есть пайплайн — я хочу понимать, что вижу.

🧡 Сохраняю промежуточные данные в parquet + versioning
Долго до этого шел.
Каждый шаг — в файл.
Папки типа step1_raw/, step2_clean/, step3_enriched/
Очень выручает, если где-то баг — можно быстро отмотать.
Потом просто удаляю, когда задача реализована и прошло какое-то время.

🧡 Автоматизирую всё, что бесит — через Python
- Сбор файла для релиза (🧡 вот тут об этом)
- Парсинг html-чеков
- Генерация тестов
- Сэмплирование данных и их запись

Всё, что повторяется, стараюсь запихнуть в скрипт.

🧡 В Jupyter — пишу не только код, но и текст
Что делаю, зачем, откуда таблицы.
После больничного открыл ноутбук — и слава богу, что писал текст.
Иначе вообще не понял бы, на каком этапе я был 😅 и что вообще всё это значит.

🧡 Скрипт отправляю в репозиторий. Всегда.
На любом проекте, даже временном, создаю git-репу.
Сессии падают, файлы исчезают, ноутбуки очищают.

🧡 А потом ты ищешь свой pipeline, который был только в tmp/...
🧡 Про code review и мой фатальный кейс тут

🧡Делитесь своими наработками.

#путь_de