💂‍♀️ источники → витрины

на собесах меня спрашивали «в чём заключалась твоя работа?»

и я так не очень уверенно рассказывал: «ну вот есть источники, мы там собираем данные, кладём к себе в хранилище, там как-то обрабатываем, собираем сущности и делаем денормализованные витринки для бизнеса».

и походу это был правильный ответ =) потому сейчас занимаюсь примерно тем же самым:
⁃ есть источники;
⁃ оттуда надо забрать данные;
⁃ данные разные по формату, надо бы сделать одинаковые;
⁃ собрать сущности и метрики в одном месте;
⁃ по сущностям построить витринки, удобные для аналитиков;
⁃ ПРОФИТ!

только масштаб другой: у одного бизнеса можно пересчитывать историю с начала времён одной командой за 30 минут; а в другом — нужно поднимать N машин, чтобы распределённо обработать данные за прошлую неделю (и ещё подождать полдня).