Что делать, если вы — продакт и не видите свежих данных?
Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.

От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями.

Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам.

💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном наитии далеко не уедешь. Прежде чем идти к дата-инженеру и возмущаться, сформулируйте запрос.

Какие метрики вызывают вопросы? За какой период? Из каких источников? Есть ли аномалии, на которые вы можете точно указать? Так и DE будет проще разобраться и найти проблему.

💬 Сравните свои данные с источником. Если вы тянете информацию из Яндекс.Метрики, сравните ее «родной» дашборд в личном кабинете с вашим. Есть ли расхождения между ними? Если есть, значит, что-то в данных поломалось на пути на дашборд. Если нет, проблема на уровне источника.

💬 Спросите, как коллеги мониторят свои процессы и отслеживают ошибки. В идеале у них должны быть настроены алерты, чтобы сразу получать уведомления о проблемах. Если такого нет, стоит поинтересоваться почему и как дата-инженеры контролируют целостность пайплайна.

💬 Алерты настроены, и по ним видно, что что-то ломается постоянно? Это тревожный звоночек и повод инженерам покопаться в коде. Это часто бывает, когда код избыточный, доставший в наследство от предыдущих инженеров и накопивший в себе кучу мусора. Это все надо приводить в порядок.

💙 Мы кратко описали частые проблемы и возможные решения, но можем рассказать и подробнее. Сделали форму из 5 вопросов, где вы можете поделиться, какие сложности в работе с данными у вас возникают, а мы попробуем помочь.