Операционные и аналитические данные

Вся разработка строится на обработке данных, данные бывают разные - изображения, тексты, сигналы и т.д., можно по-разному классифицировать данные, объединять их в группы, разделять по разным принципам. Но в контексте данной заметки нам важно разделить данные на "операционные данные" и "аналитические данные". Именно так они делятся с позиции бизнеса.

Операционные данные

Это бизнес-данные, которые отражают текущее состояние бизнеса. Эти данные постоянно меняются и их нужно поддерживать в корректном состоянии.

Целостность достигается за счет использования транзакций, функциональность реализуется с помощью OLTP (online transaction processing).

Основная проблема операционных данных - изменчивость. Чтобы гарантировать целостность используют либо ACID, либо BASE подходы.

Обычно для операционных данных реализуется стандартный CRUD интерфейс.

Передача данных во внешние источники делается через REST, GraphQL, event-driven подходы и т.д.

Аналитические данные

Это timeseries-данные, которые описывают исторический взгляд на вещи (аналитика). Эти данные нужны для построения отчетов, оперативного мониторинга и т.д.

Эти данные не изменяются во времени, только накапливаются и аггрегируются, поэтому нет нужды обеспечивать целостность. Для обработки используются OLAP (online analytical processing) системы.

Аналитические данные используются для построения информационных моделей в машинном обучении.

Для хранения используются DataLake (централизованный подход), DataMesh (децентрлизованный подход)

#знания #статья

SOER | PRO | Boosty