🔍Расширяем датафреймы
Придумала себе на днях, как облегчить ресерч новой витрины данных с кучей таблиц.
🍺Контекст
У нас в Сбере при загрузке данных в таблички дописываются тех. столбцы с префиксом ctl. CTL - это штука по управлению потоками. Она может запускать разные оркестраторы: airflow, oozie итд итп
В тех. столбцах есть:
⏺тип операции (update, insert)
⏺id загрузки (чтобы можно было легко откатить)
⏺дата загрузки строки
⏺дата, по которую строка актуальна
И на экране это занимает достаточно много места.
💻Я набросала класс, чтобы удобно работать с пулом датафреймов - на картинке.
Тут еще интересен момент с chaining - мне очень нравится, когда функции вот так красиво друг за дружкой идут. Для этого нужно, чтобы каждый элемент в цепочке возвращал тот объект, который забрал.
Получили датафрейм - что-то поделали - вернули измененный, но все же датафрейм.
Post #202
2.35K

- 👍 8
- 🔥 8
- ❤ 1