В Apache Iceberg 1.12.0 исправили опасный сценарий: при неудачной фиксации данных коннектор записывал предупреждение, но продолжал показывать состояние
RUNNING. Например, конфликт параллельных изменений таблицы в AWS Glue мог привести к потере находившихся в обработке данных без явной ошибки задания. Теперь ошибка полной фиксации завершает координатор и переводит задачу Kafka Connect в
FAILED. Для временных конфликтов можно настроить ограниченное число повторов через iceberg.control.commit.max-consecutive-failures; по умолчанию коннектор останавливается после первой ошибки. Для инженеров это принципиальная разница: зелёный статус больше не скрывает дыру в данных, а сбой можно поймать мониторингом и безопасно восстановить конвейер.
Пруфы:
⏩релиз Apache Iceberg 1.12.0 от 30 сентября 2026 года,
⏩описание исправленной ошибки
#apacheiceberg #apachekafka #kafkaconnect #datalake #datareliability #dataengineering
@data_engi
