Data Quality | Качество данных

Количество VS качество

Данные трудно найти и легко потерять: изменение любого параметра ведет к проблемам. Следствие — нужен постоянный пересмотр проверок.

О том, как устроена система проверок в Сбере, рассказывает инженер данных Арина Шахтарина:

🟢 Проверки запускаются в зависимости от частоты обновления данных. Запуск настроен или по расписанию, или по событию.

🟢 Регулярно актуализируем проверки: для новых витрин данных — сразу при разработке, для тех, что уже в проме, — при появлении новых вводных.

🟢 Особое внимание уделяем непротиворечивости и корректности данных: это особенно важно для банковских продуктов.

Ну и главный секрет: закладывать ресурсы на проверку еще на этапе планирования.

В первый рабочий день нового года получила приятную новость: мой доклад принят в программу конференции по качеству данных 😊

Основная часть доклада почти готова, и всё же спрошу: О чём хотелось бы узнать из выступления?

С новым годом по-Курильски!
🎄🎄🎄

С чего начать?

Какие проверки важнее - технические или бизнесовые? Какие кидаться реализовывать в первую очередь? За что хвататься, когда впереди поле непахано?

Недавно ко мне пришёл коллега за советом, с чего начать копать в части качества данных. Бизнес хочет, чтобы было. Что именно - и сами пока не очень понимают.

Придумали план:
0. Узнать, что есть сейчас. По документам, договорённостям, фактически.
1. Определить, что вообще хочется проверять; что критично, а что не очень; что на что и как влияет. Это, пожалуй, самое сложное.
2. Как часто обновляются данные, в каком они виде.
3. Кто владельцы этих данных, кто за них несёт ответственность.

Когда будет эта информация, уже можно двигаться дальше.

#качестводанных #dataquality

На что вы смотрите, когда выбираете работу?

Поддержу тему #трендывнайме

Когда я искала первую "серьезную" работу, а это был 2005 год, я была студенткой на дневном и мне ещё не было 18, хотелось, чтобы она была официальной и платили приемлемо. На всё остальное было всё равно. Нашла даже лучше, чем предполагала: с приличной по тем временам своевременной зарплатой, с льготными обедами (25₽ за полноценный обед, не ешь - не платишь, 100₽ вторая порция), развозом рано утром и поздно вечером, и другими плюшками. Правда, ездить надо было на окраину города, но если бы не было принципиально работать после окончания универа по специальности, не уходила бы тогда. Проработала 4 года.

Следующей "взрослой" работой была контора. Решающим был факт "по специальности", расположение недалеко от дома, интересная работа, оплачивали заказные обеды. Ушла, потому что нужно было разруливать бытовуху (офис в квартире, заказ еды ежедневно, найм сотрудников от уборщицы до коллег и тд), зарплата была серой и её не платили. Потом ещё одна контора, тут уже смотрела на коллектив и руководство, дополнительные обязанности и мелкие нюансы. Суммарно 9 лет.

Потом пришла в Сбер. Очень приятно удивилась помещению. Огромное здание (после офиса в квартире особенно ощущается), большой коллектив, столовая с вкусной и доступной едой, новые мониторы, много санитарных комнат (реально, нет очередей), есть парикмахерская, спортзал и аптека в здании. Работа ровно в рамках обязанностей, много активностей по желанию и возможность посещать интересные мероприятия. Ещё работаю)

Сейчас, читая предложения работы, смотрю не только на обязанности и зарплату, но и на "невидимые" особенности: наличие столовой, количество санитарных комнат на количество сотрудников, командировки, возможность посещать конференции, дополнительное обучение, внутренние активности и мероприятия, профессиональные объединения в коллективе, ухоженность территории офиса и другие подобные моменты и нематериальные мотиваторы.

А на что при выборе работы смотрите вы?

🌟 Привет, друзья! 🌟

Вы ждали? Приглашаем вас на технологический митап IT Talk by Sber, который состоится 28 ноября в 18:30 в Самаре! 🎉

Это отличная возможность узнать о последних трендах в IT, а также погрузиться в интересные темы, которые подготовили IT-эксперты:

🗣️ Сергей Гордеев - TechLead команды автоматизации с темой «Бегом от рутины: как автоматизировать операции управления инфраструктурой».

🗣️ Вячеслав Кудряшов - Исполнительный директор ситуационного центра расскажет о «Критичных требованиях надежности».

🗣️ Ирина Шахтарина - ІТ-аналитик возьмёт нас в путешествие с темой «От дощечки к компьютеру. Путь от ткачества к ЭВМ».

Не упустите шанс пообщаться с единомышленниками, задать вопросы спикерам и расширить свои знания! 💡

🔗Зарегистрироваться
📍Бенке Холл Центра труда и отдыха «Станкозавод» (г. Самара, ул. Куйбышева, 128/1)

Ждём вас на IT Talk by Sber! 🤝

Привет!
Сегодня в Самаре будет IT TALK, буду там выступать, правда не про качество, а про ткачество 😊
А перед этим будет ещё парочка интересных докладов.
Зарегистрироваться ещё можно успеть)

Про актуализацию проверок.

Как часто вы обновляете свои проверки? В идеальной картине, наверное, один раз сделал и забыл. В реальности, постоянно что-то меняется. Точнее, почти всё)

Меняется работоспособность кластера - нужно или менять TLA, или оптимизировать, или решать проблемы с железом;
Меняется количество записей - расчеты идут дольше - снова или сдвиг TLA, или оптимизация, до какого-то момента;
Появляются новые вводные, новые требования к продукту, новые потребители - всё это тянет за собой пересмотр проверок. Как бизнесовых, так и технических.

Понятно, что все изменения одномоментно сделать очень сложно. Зачастую, работа непосредственно над проверками остаётся на "когда-нибудь потом" и делается по остаточному принципу. Или приходят к необходимости обложить проверками уже готовый продукт. Или логикой, написанием и реализацией проверок занимается не автор витрины данных, а совсем другой человек, которому нужно сначала разобраться, как это всё работает.
А ещё нужно подумать о технической реализации и способах получить человекочитаемый результат проверок.

В любом случае, стоит закладывать временные и человеческие ресурсы на это еще на этапе планирования, проектирования и оценке объёма работ.

Получается, работа над качеством данных - это постоянный непрерывный процесс совершенствования. Согласны?

#качестводанных #dataquality

Чуть больше, чем через месяц, состоится конференция разработчиков высоконагруженных систем HighLoad++, а на ней, 02 декабря 2024 года, состоится награждение победителей конкурса Красоты Кода.

В нём ещё можно принять участие по направлениям Frontend, Backend, Mobile, DevOps, AI.

Я в любом случае мимо, сотрудники Сбера не участвуют, да и направления не мои, но любопытно, кому достанутся призы 🥇🥈🥉

В общем, залетайте по ссылке выше, интересные задачки ждут!😵‍💫
Удачи! 🔥

Сегодня было открытие конференции Joker, принимала в нём участие, беседовали с Владимиром Красильщиком о правах на код, написанный на хакатонах, с помощью ИИ и во вне рабочее время.

Пока готовилась, нашла интересную информацию, рассказать?

Data Quality | Качество данных pinned «Привет! Вас тут здорово прибавилось, спасибо что заинтересовались 😊 Давайте знакомиться? Я – Шахтарина Арина, вот мой личный канал. По первому образованию юрист, за плечами работа в суде, прокуратуре и почти 10 лет в нотариате. Потом пришла в Сбер, занималась…»

Доброе уро!

Сегодня воскресенье, а значит самое время немножко отвлечься и отдохнуть. Но мы же любим «отдыхать полезно», поэтому хочу поделиться с вами классной подборкой каналов коллег. Рекомендую добавлять папку целиком, ребята пишут от души, читать одно удовольствие.

Кто в этой подборке? Лучшие ❤️

👍 Дата Инженеретта Айгуль Сибгатуллина. Автор помогает разобраться в сложных понятиях на примере реальных кейсов из собственного опыта.

👍 Госпожа аналитик Ия Зотова. Канал про жизнь и рост в IT.

👍 Антон Непша.js Канал о веб-разработке: автор делится как новинками из мира JS, так и устоявшимися фундаментальными знаниями.

👍 Уставший техдир Глеб Михеев. Автор пишет про управление, разработку, иногда продукт, делится своими выступлениями и подкастами.

👍 V{IT}A ZAEBYMBA Виталия Малютина. Канал про системный анализ, жизнь в IT и опыт работы в корпорации.

👍 Гуманный аналитик Роман Селезнёв. Канал про анализ, проектирование и всё, что так или иначе связано с информационными системами.

👍 Корпоративная Мифология от Давида Мартиросяна. Канал про развитие команд, управление людьми и собой заодно в мире разработки программных продуктов.

👍 Иван Федотов пишет про психологию, менеджмент и жизнь.

👍 Complete AI Андрей Кузнецов рассказывает о событиях и технологичных трендах в мире ИИ, а также об исследованиях Лаборатории FusionBrain в Институте AIRI.

👍 Трапезников Алексей в Рассказе фронтендера пишет про фронтенд разработку и любимый JS.

👍 Карпов Юрий в Закладках фронтендера делится своими статьями и заметками о программировании и вебе.

👍 Киберпрсихолог Ирина Линева рассказывает про психологию команды, продукта, и личную осознанность.

👍 Мотивируй IT Дмитрий Малахов делится личным опытом запуска и развития крупных проектов, новостями из мира технологий.

👍 Junior QA to Dev Иван Иксанов. Канал про QA, ручное и авто, инструменты тестирования и лучшие практики.

👍 Analyst Boost Никита Харичкин. Пишет про обучение и лучшие практики, опыт и мысли на темы PlantUML, бизнес- и системного анализа.

👍 Айтишник обыкновенный Николай Колесник. Канал про системный анализ и не только.

👍 Семён обо всём Семён Мартюшов. Канал про использование нейросетей в личной жизни.

👍 (java || kotlin) && devOps Орехов Денис. Про фреймворки, паттерны, чистый код, unit тестирование, тонкости JVM, архитектуру и конечно же DevOps.

👍 /home/Vzhyx/ от Романа Троицкого. Канал про веб-разработку от фронтенда до сервера и контейнеров.

👍 Сообщества в IT и компаниях | Community management. Управление в IT Арина Штерн рассказывает про гибкие методы управления, через комьюнити-менеджмент, создание личного бренда и эфиры с интересными гостями.

👍 Synapse Community Максим Чудновский, Александр Козлов, Алексей Игнатов, Илья Семенов, Георгий Абрамов про актуальные тренды и развитие облачных технологий, все про сервис меш и не только.

👍 Мысли менеджера Сергея Р о том, как законы менеджмента работают на практике.

👍 Плохой Project Артём Арюткин прикольно пишет про IT менеджмент.

👍 Data Quality | Качество данных Арина Шахтарина делится мыслями про качество данных, особенности и нюансы настройки проверок, выстраивание взаимодействия с поставщиками и потребителями данных. Да, это про меня)

Читайте сами, делитесь с друзьями! 📖
И еще раз, вся папка - вот 😊

Привет!
Вас тут здорово прибавилось, спасибо что заинтересовались 😊
Давайте знакомиться?
Я – Шахтарина Арина, вот мой личный канал.

По первому образованию юрист, за плечами работа в суде, прокуратуре и почти 10 лет в нотариате. Потом пришла в Сбер, занималась обращениями клиентов, копалась в базах, иногда видела несоответствия, очень хотелось всё исправить, выучилась на инженера и теперь занимаюсь качеством данных. Мечты сбываются :) Отдельный привет коллегам, мне очень приятно, что вы меня читаете и говорите про этот канал на работе 😊

Увлекаюсь исторической реконструкцией (Русь, 13 век) и ткачеством (про это могу много рассказывать), имею звание Мастера Декоративно-прикладного творчества, народных художественных ремёсел и промыслов.

Люблю фотографировать, разбирать, чистить и чинить старые объективы, заваривать чай, пробовать разный кофе, куда-нибудь ездить, выступать на мероприятиях, людей и вообще за движуху. Про это всё в основном канале, а тут заметки про работу.

Теперь ваша очередь, расскажите о себе? Интересно, кто меня читает)

Проверки на точность и достоверность

Зачастую считают, что качество данных равно их точность. Но это не совсем так.

Точность — это то, насколько хорошо данные, хранящиеся в системе, отражают действительность. Под достоверностью обычно понимают достоверный источник данных и возможность их проверить. Фактчекинг появился именно по этой причине – проверить вызывающие сомнение факты (данные).

Данные должны не только отражать реальность, но и быть полными, действительными и единообразными. В первую очередь точность означает полноту данных, то есть должны быть известны все атрибуты, и подразумевает баланс между всеми аспектами..
Чтобы данные были действительными, они должны соответствовать какому-то стандарту. Например, у всех есть фамилия и имя, а у большинства сограждан – еще и отчество. Данные могут быть действительными, но не точными. Например, если на письме в графе «ФИО получателя» написано «Петровичу», то данные могут быть действительными (потому что фамилия Петрович тоже есть), но не проходят проверку на точность, в совокупности с другими атрибутами, так как являются отчеством.
Единообразие означает, что одни и те же данные отображаются одинаково в разных наборах данных. Например, если в одном указано «Даниил Григориевич», а в другом этот же человек – «Данила Григорьевич», то данные противоречивы и по крайней мере один из наборов неточен.
Точность данных означает выполнение всех вышеперечисленных требований.

Например, если данные точные, но поступили позже ожидаемого времени, или недостаточно детализированы, или недоступны заинтересованным лицам – их качество не будет высоким, потому что цель использования не достигнута.

#качестводанных #dataquality

Как начать внедрять качество данных в компании?

Продолжаем рубрику #dq_ответы_на_вопросы

Данные бывают разные, а используют их примерно все 😊
Внезапное «Мам, пап, завтра надо ступу бабы Яги в натуральную величину из эко-материалов» – тоже про качество данных.
И «Ой, мы продали билетов на концерт больше, чем мест в зрительном зале» - оттуда же.
И «случайно» ошибиться номером, и еще много чего бытового.

Все организации держатся на данных. Основное, что есть – знания о клиентах, партнёрах, сделках, обязательствах и т.д. Ошибки в этих знаниях могут стоить очень дорого, как в плане репутационных рисков, так и в плане финансовых потерь.

Так как же сделать так, чтобы все данных были верными? Договариваться. Со всеми:
🤵с руководством, что на эту задачу нужны люди, деньги и время;
🤵с подчиненными, что на них упадёт дополнительная работа;
🤵с коллегами, чтобы они предоставляли реальные данные не на кухне, а официальными каналами связи;
🤵с партнерами, что оттого, какие данные они предоставят, зависят существенные условия договора.

Как? Понять, что может мотивировать этих людей.
Например,
💸для руководства – посчитать трудозатраты по вашей сфере ответственности, хотя бы примерно (не известно, что обнаружится, когда вы всерьёз возьметесь за эту задачу), выгоду и экономию, которую получит отдел или компания после приведения данных в порядок;
💸Для подчиненных – в чем будет упрощение или удобство при работе с нормальными данными, возможно материальная мотивация;
💸Для коллег – может быть уменьшение взаимных задач по доделыванию и исправлению ошибок, а может – новый общий интересный проект;
💸Для партнеров – выгодные условия, сокращения сроков, приоритет выполнения заказов и др.

Желательно, договариваться одновременно со всеми.

Предварительно для каждой категории оппонентов приготовить ответы на основные возможные вопросы: зачем, что это даст, сколько это будет стоить, сколько займет времени первый этап, кто именно будет делать, кто за что нести ответственность, что вы готовы взять на себя и главное – что будет, если этого не сделать в какие-то разумные сроки. Еще можно продумать, какой минимальный уровень качества устроит вас, даст обещанное окружающим, по каким критериям это планируется измерять.

Ну а перед всем этим – понять, что вы хотите получить, внедряя работу над качеством данных в организации, в каком состоянии они сейчас, где есть слабые места и на что они влияют.

#качестводанных #dataquality

Чем мерить качество данных?

Рубрика #DQ_ответы_на_вопросы

Сегодня поговорим о метриках качества данных.

Считается, что качество данных влияет на все данные в организации и поэтому оно должно начинаться с самого верха организации. Одновременно с этим, за качество данных отвечает каждый пользователь, создающий и использующий  данные. Создатели должны придерживаться ряда правил и договоренностей, а потребители – сообщать о несоответствиях данных.

Зачастую, на некоторые моменты «закрывают глаза». Например, на дату 01.01.1900 или 31.12.9999. Эти даты удобны, они были в далёком прошлом или будут в еще более далёком будущем, именно в этом интервале их нормально воспринимает эксель. Ими же заполняют пропуски или недостающие данные, условно подходящие под «давно» и «никогда». И именно о них спотыкаются проверки на актуальность, ведь в идеале этих дат нет в таблице. Приходится придумывать обходные пути, помечать записи как неошибочные и тд.

Неисправленные ошибки в адресах, названиях, разное написание телефонных номеров – всё это может создать ложные срабатывания различных проверок и привести к падению уровня качества данных.

Определить, насколько хороши ваши данные можете только вы сами, приняв за точку отсчета текущее состояние данных. Проверить, какие там есть ошибки, как их можно исправить, а что не является критичным и существенным.

Обычно, основными метриками считают следующие:
✅ Полнота – количество или процент заполненных значений;
✅ Уникальность – процент неповторяющихся значений;
✅ Согласованность – взаимная непротиворечивость;
✅ Допустимость – соответствие типам или форматам (например, телефонный номер записан цифрами);
✅ Валидность – соответствие уровню достоверности (например, неотрицательный вес);
✅ Точность – соответствие требованиям;
✅ Контролируемость – возможность установить происхождение данных и другие.

Какой процент соответствия этим критериям допустим – определяется на уровне организации, отдела, продукта. Где-то обязательно 99,99%, а где-то и 80% - уже хорошо.
Например, обычно вы приходите на работу к 9.00, и это нормально, но именно работать начинаете в 9.15 - 15 минут на переодевание, загрузку компьютера и чай, а когда приходите в организацию, которая работает с 9, хочется чтобы в 9 вас и начали принимать. В этом случае сотрудникам нужно приходить чуть раньше, чем 9, например, 8.45. В итоге оба работают с 9, но с разными допусками к такому критерию как начало рабочего дня.

#качестводанных #dataquality

Раз в месяц публикую пост-вопрос, где тоже можно задать вопросы о качестве данных, помимо комментариев.

Кто вы?

Этот канал – копия канала в соцсети Сетка от ХэдХантера, а вот сам канал . Недавно я настроила репост отсюда туда, поэтому посты можно будет читать и там, и тут – где удобнее. И в Сетке есть свои Сетки– разделение по интересам, профессиям, организациям и другим параметрам. Для Сбера их 120!

Вспомнила, как выбирала, кем представляться – я и умная, и красивая, куда идти? 😊

Качеством данных занимаются и аналитики всех сортов (бизнес-аналитик, системный аналитик, аналитик данных, просто аналитик), и инженеры данных, и сайентисты, и бигдата инженеры, и обычные инженеры – кого только нет!

Как называется, или как вам хотелось бы, чтобы называлась должность, связанная с качеством данных? Это основное направление вашей деятельности или одно из нескольких? А может, вы специалист совсем в другом?

Расскажите немного о себе, чем вы занимаетесь?

#качестводанных #dataquality