От микросервисов к витрине данных: как в «Росатоме» упростили работу с данными

На Хабре опубликована статья о том, как команда Гринатома отказалась от сложной модели витрин и перешла к Data Lakehouse с медальонной архитектурой.

Из статьи вы узнаете:

🔵Почему старая архитектура перестала работать и как витрина данных строилась на сложной доменной модели, не совпадавшей с моделями микросервисов и потребителей, из-за чего приходилось постоянно исправлять несоответствия и сложные JOIN-запросы.

🔵Как происходило внедрение трехслойной архитектуры (бронзовый, серебряный и золотой слои), где сначала сохраняются «сырые» данные из микросервисов, затем очищаются и стандартизируются, а на финальном уровне формируются витрины под конкретные задачи.

🔵Как загрузка данных через Kafka, накопление их в Data Lake и формирование итоговых сообщений после получения полного набора данных позволили снизить ошибки и ускорить интеграции с внешними системами.

🔗 Статья доступна по ссылке.

⚛️ Подписывайтесь на Атомный ИТ — канал об информационных технологиях в атомной отрасли