Помогите стартапу найти доверие к данным
Представьте: французский эдтех-стартап. Данных, которые надо анализировать, немало: соцсети, рекламные кабинеты, платежи, активность студентов. Все это собирается, складывается в базу и выводится на красивые дашборды на Tableau.

🔜 Пока все стандартно, но вот первый сюжетный твист: раз в месяц стартап обращается к сторонней компании, которая берет все их данные и пересчитывает в табличке в Excel. Потому что дашборды — это, конечно, классно, но что они там рисуют — непонятно, а в табличке все четко и понятно.

Представили? А нам и представлять не надо. Это один из наших клиентов, у которого сложилась довольно интересная ситуация с данными — MentorShow.

🔜 Второй сюжетный твист: в какой-то момент ребята решили, что одна база данных хорошо, а две лучше, поэтому данные стали хранить сразу в PostgreSQL и Redshift. Если отбросить иронию, то почему это произошло, мы не знаем, но последствия у этого были предсказуемые. Логика распределения данных по базам была непонятной, они дублировались, путались, и в итоге никакого доверия к ним не было.

Вот и приходилось руками пересчитывать.

💬 MentorShow эта интересная ситуация надоела, и они решили переходить на ClickHouse. Тут к ним присоединились мы и помогли перенести данные в новую базу, пересчитать метрики на старых дашбордах и сделать несколько новых — уже на Superset.
💬 В какой-то момент от они вообще отказались и от ClickHouse. В итоге построили новую инфраструктуру данных: Airflow для сбора данных — хранение в S3 — обработка в Athena — визуализация в Tableau и Superset.
💬 Чуть более официально и про метрики и результаты, еще и со скринами дашбордов рассказываем на сайте Valiotti Analytics и на Edmetrics.

Но главный результат — больше не приходилось ничего пересчитывать в Excel, потому что данные были корректными и заслуживающими доверия. Happy end!❤️

Рассказали не только, чтобы похвастаться, с какими кейсами приходилось справляться, но и поделиться, как интересно бывает организована работа с данными в разных компаниях.