Основы качества данных, глава шестая, часть 1.

Мысли об устранении проблем с качеством данных.

📎 Для исправления проблем с качеством данных можно использовать практики DevOps и SRE-инженеров. Всё уже придумано и успешно применяется в разработке. Это позволит применять к качеству данных упреждающий и масштабируемый подход.

📎 Жизненный цикл DevOps включает 8 последовательных этапов, затем повторяется:
1️⃣ Планирование
2️⃣Разработка
3️⃣Сборка
4️⃣Тестирование
5️⃣Выпуск в пром
6️⃣Интеграция в существующую систему
7️⃣Эксплуатация
8️⃣Мониторинг

📎 Эффективное управление инцидентами является ключом к ограничению сбоев. Реакцию на инциденты стоит продумывать заранее.

📎 Управление инцидентами – процесс выявления, изучения, разрешения, анализа и предотвращения проблем, которые могут возникать ежедневно.

📎 Нет универсального подхода к пониманию причины поломки, потому что причин может быть бесконечно много.

📎 С увеличением количества обрабатываемых данных вероятность ошибок увеличивается. Пока компании используют данные для своих цифровых услуг и принятия решений, инциденты будут продолжать происходить.

📎 Жизненный цикл надежности данных:
1️⃣Обнаружение
2️⃣Решение
3️⃣Предотвращение

📎 Рабочий процесс управления инцидентами:
1️⃣Обнаружение
2️⃣Реагирование
3️⃣Анализ первопричин
4️⃣Решение
5️⃣Разбор инцидента

📎 Обнаружение инцидентов можно интегрировать в рабочие процессы обработки и анализа данных. Инциденты можно увидеть на мониторинге при наличии пороговых значений, можно поймать при работе с аномалиями.

📎 Обнаружение аномалий наиболее ценно, когда оно сквозное на всём пути обработки данных, а не только в вашей части. Это инструмент, а не способ решения.

📎 Обнаружение инцидентов – это многоуровневый процесс, который опирается не только на способность обнаруживать инциденты, но и реагировать на них, разрешать и предотвращать итеративным и повторяемым способом.

📎 В этап обнаружения входит не только сам факт знания, что что-то сломалось, но и понимание что именно, почему, где и на что/кого влияет, что дальше делать.

Тут начинается второй этап – реагирование.

#качестводанных #dataquality #dqf