На t-sync инженеры обсудили как сделать данные управляемыми по модели SRE. В Т-Технологиях называли это DRE - Data Relibility Engineering.
В рамках инженерного контура Data T-Технологии показали как удалось внутри крупного бизнеса с террабайтами данных сделать данные SRE-продуктом с прозрачной ответственностью и измеримостью.
Когда речь идет о данных обычно акцентируют внимание на lakehouse, AI и ускорении пайплайнов. В T Data Platform инженеры формализовали критичность данных (BC+, BC и т.д.), задали SLO, допустимый простой и время реакции. Через Data Contracts c более 9000 контрактов и DQ Tools, которые реализуют свыше 34 000 проверок, считается кумулятивная критичность по data-графу, есть контракт с бизнесом на качество и актуальность. Инцидент теперь — не просто "упала таблица", а нарушение бизнес-ожидания, с возможностью эскалации до уровня data-продукта. Цена падения — не просто ошибка в DAG. Это потеря доверия, срыв SLA бизнеса, финансовые и репутационные риски. DRE позволяет считать и минимизировать эту цену.
Data Incident Management обеспечивает оповещения, прозрачность и аналитику по 985 дата-процессам от 38 бизнес-линий внутри Т-Технологий.
T Data Platform за 18 лет эволюционировала от ETL в полноценный продукт: Sources, Storage (LakeHouse на Spark/Trino+S3), Governance с observability. Подробный разбор как устроена T Data Platform
Post #8761
22.3K
- ❤ 31
- 👍 12
- 🗿 9
- 🔥 6
- 😁 2
- 🤯 2