Мы создали собственную аналитическую платформу 🔑

Каждый день мы работаем с огромными массивами разнородной информации: финансовыми прогнозами, экономическими показателями, данными контрагентов и подрядчиков. Чтобы делать это эффективно, дирекция данных создала аналитическую платформу на базе Open Source и собственных разработок.

Мы применили на практике самую современную парадигму архитектур — LakeHouse. Она расширяет традиционную аналитику данных, сочетая гибкость озер с четкой структурой хранилищ. Это позволяет оптимизировать загрузку, обработку и анализ данных, а также обеспечивает изоляцию хранения от вычислений для облегчения масштабирования.

В итоге мы имеем возможность работать как с готовыми витринами, так и напрямую с качественными очищенными и описанными данными в озере.

Аналитическая платформа уже агрегирует информацию из 170+ мастер-систем и источников, превращая данные в ценный актив компании. На уровне LakeHouse мы обеспечиваем не только кросс-системность данных, но и обогащаем их и приводим к стандартам качества, а также описываем каждый атрибут данных в каталоге данных.

Для компании это был стратегически важный проект: не просто централизовать данные, но и сделать их пригодными для принятия управленческих решений. При этом мы реализовали ряд крупных проектов: осуществили переезд с облака в собственный ЦОД компании, мигрировали с Hadoop на S3, применили последние практики dataops и iac подход, развернули весь стек по работе с данными в Kubernetes, добились оптимизации хранения данных в 6 раз.

Хотите узнать больше? Ставьте 🔥