Batch vs Streaming: два пути к эффективной обработке данных

В мире больших данных batch и streaming — два ключевых метода загрузки и обработки, которые определяют, как информация движется и трансформируется внутри системы.

Сама суть понятий кроется в их названии: batch - пачка, streaming — поток. На этом можно было и остановиться, но всё же давайте разберемся, чем они отличаются и в каких случаях что лучше применять.

При batch загрузке мы собираем данные в большие пачки и обрабатываем их все вместе. Отлично подходит, если нам не нужны мгновенные результаты. Например, для составления ежемесячных отчетов по продажам или анализа поведения пользователей за прошедший квартал.

Плюсы batch загрузки:
+ Эффективно работает с большими объемами данных
+ Экономит ресурсы, так как обработка идет в определенное время (особенно актуально для облаков, где оплата за время использование ресурсов)
+ Подходит для сложных вычислений, которые требуют много времени

Минусы:
- Задержка между сбором данных и получением результатов
- Не подходит для задач, требующих мгновенной реакции

Streaming подход обрабатывает каждую единицу данных сразу, как только она появляется. Идеально подходит для задач, где важно получать данные мгновенно. Например, для мониторинга состояния оборудования в реальном времени.

Плюсы streaming обработки:
+ Мгновенное (ну почти) появление данных
+ Возможность быстро реагировать на события

Минусы:
- Требует больше ресурсов
- Сложнее реализовать для некоторых типов анализа

Возникает логичный вопрос что и когда использовать? Но универсального ответа нет. Выбор между пакетной и потоковой обработкой целиком зависит от ваших задач и ресурсов и в этом состоит работа системного аналитика — выбрать лучший подход для каждого конкретного случая.

Банки используют streaming загрузку в DWH для быстрого обновления данных. Информация о переводах и покупках клиентов попадает в хранилище почти мгновенно. Это дает аналитикам самую свежую картину активности клиентов. В тоже время менее критичные данные могут собираться из ERP и CRM систем раз в день.

Для batch обработки часто используют Apache Hadoop, Apache Spark или самописные репликаторы. Для streaming популярны Apache Kafka, Apache Flink и Google Cloud Dataflow. О некоторых из этих инструментов я расскажу позднее.

#dwh