Big Data — это сколько?

Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.

Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).

Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.

Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.

Несколько примеров Big Data:
🍎 Данные со смартфонов пользователей мобильного приложения фитнес-трекера: количество шагов, качество сна, тренировки,
🚘 Данные с сенсоров на сборочной линии автомобильного завода: качество сборки, время прохождения каждого этапа, количество брака,
🌐 Логи использования городского Wi-Fi: в каких точках города наиболее активное использование, какие сайты посещают пользователи, длительность сессий,
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.

#экспертиза