В рамках проекта было внедрено отечественное решение Data Ocean SDI, позволяющее расширить охват отслеживания изменений данных и поддержать развитие КХД 2.0.
🛠 Что сделано:
🔴 Настроена CDC-загрузка для всех ключевых источников КХД 2.0;
🔴 Одна из систем мигрировала на PostgreSQL — время простоя сокращено до интервала применения CDC-изменений, что значительно ниже времени миграции основного объема данных;
🔴 Доставка диаграмм на стенды КХД 2.0 организована в рамках DevOps-процессов с использованием Airflow и API.
↗️ Результаты в цифрах:
🔴 CDC обеспечен для 2175 таблиц из 13 баз-источников и 20 очередей RabbitMQ;
🔴 От транзакции в системе-источнике до появления данных в ODS проходит около 20–30 минут;
🔴 Заложена основа гибридной архитектуры — «быстрое» плечо (real-time и near real-time конвейеры) и «медленное» плечо (пакетная обработка) для широкого спектра аналитических и продуктовых сценариев.
Марк Лебедев, руководитель команды разработки, GlowByte:
«Сотрудничество GlowByte со СберСтрахованием стало отличным примером успешной интеграции отечественных решений в критически важные бизнес-процессы. Наша экспертиза в области данных и аналитики, а также ориентированность Data Ocean SDI на низкокодовую (low-code) разработку сложных сценариев позволила в кратчайшие сроки максимально эффективно реализовать поставленные СберСтрахованием задачи. Этот проект стал важной вехой в развитии отечественных решений для захвата и обработки данных в реальном времени и реализации стриминговых сценариев».
🔗 Читать о проекте