Чем занимается DWH аналитик

Вы наверно видели на сайтах вакансии с названием "DWH аналитик". Однако не всегда понятно чем вообще предстоит заниматься в компании на такой позиции. Давайте разберемся, какие основные задачи обычно закладываются в такую позицию и какие навыки для этого нужны.

🔎 DWH (Data Warehouse) - аналитическое хранилище данных. Т.е. это комплексная система (или ряд систем), которые обеспечивают хранение, сбор, преобразование и подготовку данных для анализа.

Аналитики в этом процессе МНОГО, ее можно разбить по задачам (или направлениям задач)

1. Поиск и определение источников данных

Источниками данных выступают базы данных систем, которые используются в компании. А также в качестве источника могут быть простые файлы от бизнеса, которые в каком-то (скорее табличном) виде нужно положить в хранилище.
К примеру, может понадобиться найти систему источник с данными о логистических запасах компании. При этом отдел логистики может использовать несколько разных систем. Аналитику DWH нужно будет выяснить в какой базе данных какой системы хранятся нужные нам данные. А также нужно будет зафиксировать и описать способ сбора этих данных.

2. Описание требований для сбора, преобразования данных

Помимо того что аналитик должен узнать и раскопать где лежат нужные данные, необходимо ещё продумать логику как эти данные забирать:
- забирать все или только часть данных
- забирать по какому-то триггеру или по расписанию
- как часто забирать (раз в час, 2 раза в день, раз в сутки…)
- в какое время забирать данные, чтобы не нагружать систему, но чтобы данные попали к бизнес-пользователю и отчеты вовремя

Все это необходимо обсудить с командой бизнеса, командой разработки и задокументировать в технической спецификации

Это только часть работы, которой может заниматься аналитик на проектах с DWH. В отдельном посте распишу другие задачи, которые встречаются на проектах, а также обозначу навыки, которые для это позиции нужны.