В последнее время чаще встречаю в англоязычных материалах устойчивое выражение «Modern Data Stack».

Сегодняшняя статья «Five Predictions for the Future of the Modern Data Stack» хороша для ознакомления с ним по трем причинам.

Во-первых, сформулированы признаки «современного набора технологий для обработки данных»:
🔹поставляется как услуга;
🔹построен вокруг облачного хранилища данных;
🔹доступ к данным для большого количества людей обеспечивается через запросы в SQL-формате;
🔹оплата только за использованные ресурсы;
🔹фокус на построении автоматизированных пайплайнов.

Во-вторых, описана история развития этих технологий.

В-третьих, есть предположения, куда он будет развиваться:
🔸внедрение прикладного AI;
🔸переход к data as a service;
🔸добавление инструментов для Data Governance;
🔸больше стриминга вместо батчинга;
🔸использование в современных приложениях (как запихать в OLAP-хранилища OLTP-нагрузку автор сам не придумал, но подход довольно интересный).

🔗Ссылка

#data_engineering #инфраструктурное