The Modern Data Stack: Open-source edition

Datafold обновили свой большой обзор open-source инструментов для дата-стека — от сбора событий до BI.
Full report на 23 минуты чтения, а вот самое интересное коротко.

AI меняет расклад сил.
Вайб-кодинг довёл разработку до 80% результата за пару дней, но инфраструктуре нужны оставшиеся 20% — надёжность, архитектуру на это не отдашь.
Open-source инструменты как раз дают агентам хорошие строительные блоки, которые можно расширять под себя, а не переписывать с нуля.
Обратная сторона: у open-core вендоров, которые зарабатывали на enterprise-фичах, почва уходит из-под ног — если 80% ценности уже открыто, а оставшиеся 20% легко вайб-кодятся, коммерческий ров мельчает.

Лицензионные истории.
Snowplow ещё в начале 2024 перешёл на проприетарную лицензию (SLULA), и новая версия вообще запрещает прод с высокой доступностью.
MinIO прошёл через медленную смерть: убрали admin-консоль из community-версии, остановили дистрибуцию бинарников, а в феврале 2026 вообще заархивировали OSS-репозиторий.
Community-форк есть (pgsty/minio), но для новых проектов советуют смотреть на SeaweedFS.

Заброшенные проекты:
Mage, Amundsen, Hydra, Meltano (компания закрылась в декабре 2025) — фактически в спячке.
SQLMesh после покупки Fivetran просел на 87% по коммитам, хотя его и передали в Linux Foundation.

Fivetran консолидирует рынок.
Купили Census (май 2025), Tobiko/SQLMesh (сентябрь 2025) и dbt Labs целиком (октябрь 2025, all-stock).
Теперь одна компания контролирует и ведущий open-source SQL-трансформатор, и EL-платформу.
dbt Core остаётся на Apache 2.0, но фокус Fivetran — на новом коммерческом движке Fusion.

Кто выстрелил:
Kestra (оркестрация) — 26.6k звёзд, $25M Series A, 2B+ workflows за 2025 год, среди клиентов Bloomberg и JPMorgan;
dlt — лёгкая Python-альтернатива Airbyte;
DuckLake от команды DuckDB — упрощённый table format, где каталог — это просто SQL-база вместо manifest-файлов;
RisingWave — streaming database с PostgreSQL-совместимым SQL.

Главные победители по слоям стека:
Apache Iceberg выиграл войну table-форматов (~78% adoption, Hudi и Delta Lake уже сами добавляют совместимость с ним).
DuckDB — если данные помещаются на одну машину (а помещается больше, чем кажется), это правильный выбор: рост с 2.4k до 37.2k звёзд и 375 коммитов в неделю — больше, чем у любого другого проекта в обзоре.
ClickHouse — топ для sub-second OLAP, подняли $400M Series D и купили Langfuse.
Airflow остаётся стандартом оркестрации, но набирает обороты Dagster (для новых проектов) и Kestra (event-driven).

Итог автора:
production-grade дата-стек на open-source — реальность, экосистема устоялась вокруг победителей (Iceberg, DuckDB, Airflow 3.0/Dagster, dbt).
Тренд — на более лёгкие инструменты: DuckDB вместо Spark, если данных меньше терабайта;
dlt вместо Airbyte, если нужно просто перекинуть данные;
Kestra вместо Airflow, если команда не хочет писать Python.

Источник: The Modern Data Stack: Open-source edition

@tldr_data