Отвечаю на вопрос и выдаю БАЗУ!

1. Архитектуру БД не строят на работе, поэтому и в буткемпе таким не занимаемся

2. Слои данных создавать - это ровным счетом создать схему в бд или папку в S3 и грузить туда данные

3. Как перемещать данные да. Это ребята самостоятельно пробуют делать. Полностью пайплайн пишут

4. Тесты корректности данных только на кол-во строк, кол-во пустых значений можно делать. Но внедрять data quality, когда на работе этого ну будет - нет.

Большую часть теории и сказок про дата Волты, построение слоев хранилищ по медальону и так далее рассказывают продавцы курсов. По факту люди, приходя на работу начинают заниматься обычным перекладыванием из одного места в другой с минимальными трудозатратами. Особенно на Джун, мидл уровне.

У компании нет времени, пока ДЕшники придумают свою гениальную логику пайплайна. Все, как и везде, сроки горят, надо уже вчера сделать. Поэтому всякий тюнинг летит в корзину.

Я вот помню упарывался по отличию Кимбала и Инмона, 3НФ и дата волту. В итоге это нахрен нигде не пригодилось. Все, как у нас в жизни. В школе нас дрючат за логарифмы и синусы, а потом на работе мы бумажки перекладываем. Абсолютно такая же хрень и в IT.

Вы еще сильно разочаруетесь, что учили так много всего, а на работе в итоге занимаетесь из этого 1 процентом. Особенно в банках и близ госух.

Задача людей на буткемпе научиться презентовать свой опыт грамотно, просто отвечать(даже бездумно) на типичные вопросы с собесов и уметь пользоваться инструментами (уметь написать пайплайн самостоятельно).

А для тех, кто считает иначе - он может самостоятельно, как сделал это когда-то я, пойти учить Си в школе21, пойти учить Кимбала и Инмона, купить сто книжек, а потом пойти на собес и с гордостью отвечать на эти вопросы..

Только потом вы будете работать с людьми, которые этого не делали, а получать они будут больше и еще они будут моложе, красивее и успешнее. А вы по потеряете кучу времени, которое не вернуть.

Вот и вся сказка.

Больше БАЗЫ в чате
➡️ Вступить в чат

А это наш мощнейший бусти
➡️ Роадмаперы