Ingestr опубликовал полный набор бенчмарков и код для их воспроизведения.

Команда утверждает, что ingestr сейчас является самым быстрым open-source инструментом для data ingestion.
В тестах сравнивали загрузку данных между DuckDB, PostgreSQL, MySQL, MongoDB и Snowflake, стараясь использовать оптимальные настройки для каждого решения.

Из интересного:

• Ingestr оказался лидером почти во всех тестах, проиграв лишь в двух сценариях с минимальным отставанием.
• Spark заметно уступает на небольших объёмах данных из-за высокого оверхеда, но показывает достойные результаты на крупных нагрузках.
• Airbyte (через PyAirbyte) оказался самым медленным участником сравнения — тест на 10 млн строк даже не удалось дождаться до завершения.

Авторы напоминают простую мысль: производительность — это тоже функциональность. А поскольку data ingestion часто становится узким местом в data-платформах, такие сравнения заслуживают внимания.

@tldr_data