Airbyte убрал лишний круг данных внутри Redshift

В Airbyte Destination Redshift 4.0 данные передаются между контейнерами через Unix-сокеты в Protobuf, а не гоняются через оркестратор в JSON. Типы теперь приводятся до загрузки, поэтому записи сразу попадают в итоговые таблицы без промежуточных _airbyte_raw_* и дополнительного SQL.

В тестах пропускная способность выросла с 8,36 до 38,27 МБ/с — в 4,6 раза. Заодно снижается нагрузка на Redshift: для финальной подмены используются блоки данных через ALTER TABLE ... APPEND, а не построчное копирование.

Перед обновлением стоит проверить dbt-модели и отчёты: если они читают старые _airbyte_raw_*, их придётся перевести на итоговые таблицы.

#airbyte #redshift #etl #dataengineering #datapipelines #performance

@data_engi