В первой части мы рассказали, как устроена архитектура нашей data-платформы.
Сегодня — о том, как мы используем эти инструменты: управляем доступом к данным, настраиваем маскирование, запускаем свои языковые модели и следим за качеством данных в автоматическом режиме.
📚 Управление метаданными и версиями данных
Мы используем связку DataHub и Project Nessie.
DataHub помогает искать таблицы, отслеживать lineage, назначать владельцев и управлять доступом.
А Project Nessie — это как Git для данных: можно создавать ветки, откатываться на предыдущие версии, тестировать изменения в изолированной среде и потом сливать их в прод. Всё работает с Apache Iceberg и другими lakehouse-форматами.
🔎 Маскировка данных на уровне запросов
Для защиты чувствительных данных мы встроили Open Policy Agent в пайплайн SQL-запросов.
Когда пользователь делает запрос через Trino, OPA проверяет его роль и подставляет маски вместо настоящих значений (например,
***@domain.com или +7 *** *** 45).Политики доступа настраиваются через Keycloak и Open Policy Agent, а управление ролями — через Active Directory. Это работает прозрачно для пользователя и безопасно для бизнеса.
🧠 Open WebUI: свой интерфейс для работы с LLM
Мы используем Open WebUI как внутреннюю альтернативу ChatGPT. Интерфейс разворачивается внутри нашей инфраструктуры и позволяет работать с локальными и внешними языковыми моделями — без отправки данных в облако.
Поддерживаются модели вроде Llama 3, Phi-3, Ollama, vLLM, LM Studio и другие. Можно загружать документы, использовать RAG (Retrieval-Augmented Generation) и подключать плагины, например, для генерации изображений через Stable Diffusion.
Open WebUI встроен в нашу data-инфраструктуру и использует тот же Kubernetes-кластер и доступ через Keycloak.
✅ Платформа качества данных (DQ Platform)
Мы разработали продукт, который оркестрирует десятки тысяч автотестов данных через Apache Airflow.
Каждый тест запускается изолированно в Kubernetes, с динамической конфигурацией DAG-ов из GitLab и DQ Metastore (на PostgreSQL).
Мы тестируем как сырые данные (stage layer), так и витрины (ODS, DDS, CDM). Для выполнения тестов используем DuckDB и Trino — это позволяет обойтись без запуска Spark-сессий и снижает нагрузку.
Отчеты о результатах формируются автоматически и отправляются по почте командам аналитиков и DQ-инженеров.
Мы продолжаем развивать платформу, добавлять новые пайплайны, улучшать пайплайн маскировки, расширять каталог и интеграции с ML.
#строим