Big Data – во многих случаях карго-культ

Данные – новая нефть. Под этим лозунгом какое-то время назад сейлзы активно продавали важным СТО кучу различных решений для хранения и процессинга больших данных, показывая им графики-клюшки. Чем больше данных накоплено, тем более точными и взвешенными становятся принимаемые решения, и тем больше денег в итоге зарабатывает бизнес.

Бывший продакт-менеджер Google BigQuery поделился историями о том, насколько много данных действительно скапливается у компаний, и как они в итоге их используют.

👉Подавляющее большинство компаний не дотягивают до терабайта данных, кроме самых крупных энтерпрайзов.
👉Большинство витрин использует либо данные за последний месяц, либо агрегированные данные.
👉Даже этот терабайт накапливается годами. С учетом паттернов использования данных, они практически бесполезны.

Кроме этого, хранение большого объема данных на протяжении долгого времени, помимо затрачиваемых на инфраструктуру денег, влечет за собой дополнительные косвенные расходы:

💸Требования к хранимым данным ужесточаются. Политики вроде GDPR требуют реализации нетривиальной логики по тому, какие данные, когда и как надо удалять. Все это требует усложнения инфры, дополнительного времени разработки, и увеличивает риск нарваться на штрафы.
💸Данные могут играть против вас, если их затребуют при каком-нибудь расследовании.
💸Схема данных со временем эволюционирует, в результате чего запросы становятся все сложнее и сложнее, и в них проще допустить ошибки.

Мораль статьи – не нужно гнаться за построением огромных хранилищ данных, если вы не можете сформулировать, для чего вам нужны будут эти данные в сыром виде в будущем.