Продолжу начатую тему - греют меня твои сердечки 🙂

Давай, для начала как-то упорядочим все эти инструменты и для чего они предназначены.


1️⃣ Обработка и аналитика больших данных (Big Data)

Эти инструменты предназначены для обработки больших данных, аналитики и распределенных вычислений.

👉 Apache Arrow DataFusion: Система выполнения запросов в памяти, использующая Apache Arrow в качестве модели памяти.
👉 Apache Druid: База данных реального времени, предназначенная для быстрой аналитики больших данных.
👉 Apache Flink: Фреймворк и распределенная система обработки для состояний вычислений по потокам данных.
👉 Apache Impala: Открытая, аналитическая база данных для Hadoop, предназначенная для высокопроизводительных SQL-запросов.
👉 Apache PySpark: Python API для Apache Spark, позволяет масштабировать обработку потоков данных.
👉 Dask: Гибкая библиотека для параллельных вычислений в Python, предназначенная для масштабирования от одной машины до больших кластеров.
👉 Trino (ранее PrestoSQL): Распределенная SQL-система выполнения запросов, предназначенная для запросов к большим наборам данных.


2️⃣ Хранилище данных и аналитика больших данных (Data Warehouse)

Эти платформы предлагают решения для хранилища данных, оптимизированные для запросов и анализа больших наборов данных.

👉 BigQuery: Полностью управляемое, безсерверное хранилище данных, позволяющее анализировать петабайты данных.
👉 ClickHouse: Открытая, колоночная СУБД, в первую очередь предназначенная для обработки аналитических запросов (OLAP). Кстати, продукт Яндекса 😉
👉 Snowflake: Облачное хранилище данных, предназначенное для поддержки аналитики больших данных и обмена данными.
👉 Exasol: Высокопроизводительная, в памяти, MPP база данных, специально разработанная для аналитики.