🧐Что такое наблюдаемость данных: основные принципы
Наблюдаемость данных - это новый уровень в современном стеке технологий обработки данных, обеспечивающий командам по работе с данными их прозрачность и качество. Цель наблюдаемости данных - уменьшить вероятность ошибок в бизнес-решениях из-за некорректной информации в данных.
Наблюдаемость обеспечивается следующими принципами:
Свежесть (Freshness) показывает, насколько актуальны структуры данных.
Распределение (Distribution) сообщает, попадают ли данные в ожидаемый диапазон.
Объем (Volume ) предполагает понимание полноты структур данных и состояния источников данных.
Схема (Schema) позволяет понять, кто и когда вносит изменения в структуры данных.
Происхождение (Lineage) сопоставляет вышестоящие источники и нижележащие приемники данных, помогая определить, где произошли ошибки или сбои.
Подробнее о наблюдаемости данных в источнике: https://habr.com/ru/companies/otus/articles/559320/