Data Quality | Качество данных

Получила книгу "Дата-йога", планирую читать после "Основ качества данных".

На первый взгляд похоже на букварь с картинками, и очень напоминает "Кради как художник". Интересно, что внутри)

Кто-то уже читал, как вам?

ETL на ниточках)

Способ обработки "extract, transform, loading" (извлечение, преобразование, загрузка) применим не только к данным.

Ткацкий станок отлично демонстрирует все этапы. На входе у нас нити основы (их можно хоть к гантеле привязать, эффект будет тот же), потом нитченки и бердо - центральная часть, которая сверху скрыта деревянной плашкой с клавишами. Там нити перераспределяются в определенном порядке и выравниваются, чтобы быть поданными к ткачу. И уже на ровных ниточках можно ткать узоры)

Чудеса преобразования в действии! :)

Хотите выступить на конференции, но не можете определиться с темой?

Тогда обязательно присоединяйтесь к встрече с программным комитетом Data Internals X 2025!

▶️Когда - 17 апреля
▶️Во сколько - 18:00 (мск)
▶️Где - Zoom

Обсудим все ваши вопросы и сомнения. Члены программного комитета помогут вам выбрать наиболее подходящую и актуальную тему.

Поговорим об общей концепции конференции, организационных моментах и рекомендациях по подготовке к конференции🗂️

Участие бесплатное, но необходима предварительная регистрация.

До встречи 17 апреля в 18:00⭐️

Через пару недель пройдет встреча с программным комитетом data internals.
Очень ждем всех неопределившихся, особенно тех, с кем общались в личке по поводу докладов 😉

Полным ходом подготовка к конференциям, презы, правки, вычитки.
Интересно, увлекательно! Столько новых открытий в процессе подготовки материала! Столько всего хочется ещё изучить!

Завтра расскажу про одно из мероприятий, в котором собираюсь принять участие уже через неделю.

Начну с себя)
Сбер, занимаюсь качеством данных

Прошла очередная встреча с программным комитетом конференции Data internals , на прошлых мы уже обсудили целевую аудиторию, её возможные боли, наметили трэки конфы и о чём хотелось бы видеть доклады.
Приём заявок уже открыт, и даже есть первые принятые доклады!
Если вам есть о чём рассказать, хочется поделиться опытом - подать доклад можно по ссылке выше, будем вам рады 😊

Стало интересно, кто меня читает, сколько разных компаний. Напишите, из какой вы компании? Чем занимаетесь?

В прошлом посте затронула вопросы для оценки данных и шаги для получения показателей качества.

Для оценки данных стоит задаться вопросами:
1️⃣Актуальны ли данные?
2️⃣Полны ли данные?
3️⃣ Соответствуют ли поля ожидаемым диапазонам?
4️⃣Количество не заполненных (NULL/not NULL) полей отвечает вашим ожиданиям?
5️⃣Верна ли схема?

После ответа на эти вопросы можно уже копнуть глубже (это уже от меня):
6️⃣ На что влияют ответы на каждый из них?
7️⃣Что критично?
8️⃣Что можно сделать, чтобы исправить?
9️⃣Ничего ли не сломается после этого исправления?
🔟 Что исправлять следующим?

А что по шагам для получения показателей качества? Нам предлагают следующий порядок действий:
1️⃣Составить список того, что есть - схемы, таблицы, атрибуты. Что это такое в человекочитаемом виде и как оно меняется.
2️⃣Наблюдать за данными, отслеживать актуальность, уникальность, объем, заполненность
3️⃣Составить историю запросов - когда таблица обновляется, когда и как из неё читаются данные, изучить метаданные запросов

Проводя все мероприятия по улучшению и повышению, надо не забывать, к чему мы хоти прийти в итоге - улучшить качество данных, а не показатели.

#dataquality #качестводанных #dqf

Основы качества данных, глава вторая.

О системах хранения данных.

Что интересного:
📎 Основные компоненты качества данных: процесс, технологии, люди

📎 Перед работой над качеством данных стоит понять, качество чего хотим улучшить - операционных или аналитических данных

📎 Аналитические данные опираются на операционные, и являются результатом преобразования

📎 Важно найти компромисс между пропускной способностью и допустимой задержкой

📎 Выбирая способ хранения, важно учитывать взаимодействие с данными - формат (структура) задаётся при записи или чтении

📎 Разделять хранилище данных и вычисления

📎 Возможность "заболачивания" озера данных - если туда сливать всё без разбора, то качество будет падать, а владельцев крайне сложно найти

📎 Чем больше шагов при обработке данных, тем больше возможностей для ошибок

📎 Основной показатель качества данных - время простоя

📎 Для поверхностной оценки данных приводится список вопросов. Поделиться?

📎 Мониторинг показателей качества данных является одной из фундаментальных задач

📎 Приведены шаги для получения показателей качества данных. Надо?

📎 Чтобы начать верить данным, они должны быть точными, чистыми, доступными

📎 Важно понимать и отслеживать состояние и использование своих данных на всех этапах их жизненного цикла.

Есть над чем подумать, в общем 😊

#dataquality #качестводанных #dqf

Для получения синей галочки верификации в сетке (это соцсеть от хэдхантера), в канале тг должно быть 500+ подписчиков. В сетке сейчас 2500+.

Расскажите о моём канале своим подписчикам, помогите получить значок соответствия каналов 😊

Увидела интересную фразу, хочется не потерять:

Руководствоваться данными нужно для принятия правильных решений, а управлять данными - для принятия решений правильно.
© DAMA-DMBOK.

На волне позапрошлого поста решила создать опрос, интересно, какой вариант больше по душе?

Начала читать "Основы качества данных", авторы: Барр Мозес, Диор Гавиш, Молли Форверк.

Интересное из первой главы:

📎 Основные показатели качества данных: актуальность, объем, источники, схема и распределение. Читаю со словарём, и последние два пункта пока не очень понятны. Если есть идеи, что может под этим подразумевается, поделитесь соображениями?

📎 Любые проблемы с данными в книге называются "простоями", что в общем-то логично.

📎 Про определение качества данных: измерение надёжности, полноты и точности данных, в зависимости от состояния того, о чём речь; работоспособность данных на любом этапе жизненного цикла.

📎 Проблемы с качеством данных неизбежны в современном мире.

📎 Данные становятся не результатом, а финансовым товаром.

📎 "Сломаться" данные могут на любом этапе: приём, преобразование, загрузка, сохранение, обработка, доставка, интеграции и другие манипуляции с ними.

📎 Любое изменение данных может привести к поломке.

📎 Про децентрализованную и ячеистую архитектуры данных, сетку данных. Кажется, наш (Сберовской) "Супермаркет данных" и есть сетка.

📎 Использование одновременно и потоковой, и пакетной обработки данных меняют подходы к исследованиям.

📎 Всё большую популярность приобретает использование лучшего от хранилищ данных и от озёр данных. На выходе получаем DWH.

❄️ Приводится интересный пример плохих данных: исследователи и первооткрыватели из-за данных низкого качества или полного их отсутствия неточно прогнозировали время в пути и ресурсы.

🎼 Высокое качество данных - это не только техническая задача, но и уровень культуры.

#dataquality #качестводанных #dqf

Коллеги, кто на конференции, подходите знакомиться)

Quality Gate, что это, нужно ли, плюсы и минусы.

Начнем с определения. QG это проверка (или набор проверок), по которой при получении результата "не ок" поставка данных дальше по тракту останавливается.

Какие плюсы? Потребители данных не получат некачественные данные и всё произойдет автоматически. Лучше старые, чем плохие.

Минусы - нужна очень тонкая настройка, как самих проверок, так и времени срабатывания, понимание возможных технических работ на тракте поставки. При срабатывании скорее всего будет разбор причин и данные уйдут дальше позже, чем обычно.

Нужно ли? Пожалуй, да. Хорошие данные стоят времени, потраченного на настройку.

А как у вас? Есть на тракте поставки данных quality gate?

#качестводанных #dataquality

🎤 Представляем докладчиков конференции «Качество данных 2025»  

🔥Ирина Шахтарина, Сбер: «Как не “сломать” мозг и построить систему контроля качества данных»
❓Как разумнее всего организовать проверки данных, поступающих из внутренних и внешних источников?
❓Как выстроить и затем совершенствовать систему мониторинга данных?
❓Какую поддержку следует оказать культуре работы с данными, чтобы добиться исключения дублирования проверок и правильно расставить приоритеты их выполнения?
✔ Ирина Шахтарина, аналитик Сбера, отвечающая за контроль качества данных, не только ответит на эти вопросы, но и расскажет об опыте взаимодействия в области инцидент-менеджмента между разными командами блока «Управление благосостоянием».

➡️ Спешите регистрироваться ➡️

🤝Присоединяйтесь к Телеграм-чату конференции

🗓 26 ФЕВРАЛЯ. Конференция «Качество данных 2025»
🗺 Москва. Holiday Inn Moscow Sokolniki. офлайн+онлайн

Можно начинать обратный отсчёт.

Кто собирается быть на конференции?
Маякните, можно встретиться 26.02.

Классная новость, меня включили в программный комитет одной из конференций Онтико!
Это те, кто делает кучу конференций с картинки)
Очень рада поработать с крутыми специалистами)
Пока была всего одна встреча, а уже интересно 😊