Pipelines you own. Author locally, deploy to your servers.

Duckle — это open-source ETL-платформа для команд, которые хотят запускать свои пайплайны на собственной инфраструктуре.

Разрабатывать пайплайны можно локально на ноутбуке — с помощью визуального canvas, Python или SQL, — а затем отправить тот же файл на сервер. Команда duckle-runner serve позволяет запускать его без GUI по расписанию: в Docker или на собственном сервере. При этом доступны веб-консоль, управление ролями и журнал аудита.

Каждый пайплайн хранится в Git как один файл, поэтому он не зависит от конкретного разработчика, который его создал.

Duckle компилирует пайплайны в SQL и выполняет их на DuckDB, используя все доступные процессорные ядра. Поэтому чем мощнее сервер, тем быстрее работает пайплайн. Например, 96 миллионов строк из PostgreSQL в Parquet были обработаны за 39,9 секунды.

Никакого облака конкретного вендора. Никакой оплаты за количество обработанных строк. Никакого vendor lock-in.

@tldr_data