Две реализации Iceberg проверяют друг друга на 10 000 тестах

Разработчики Apache Comet превратили почти 10 000 тестов Iceberg для Spark в систему дифференциального тестирования.

Один запрос выполняется двумя путями: через эталонную Java-реализацию и через Iceberg Rust/DataFusion. Если результаты расходятся — где-то спряталась ошибка. Такой подход уже выявил дефекты не только в молодой Rust-версии, но и в зрелой Java-реализации.

Для инженеров здесь важна сама практика: независимые движки могут служить взаимными «оракулами» корректности и находить ошибки, которые обычные тесты годами не замечают.

#apacheiceberg #dataquality #differentialtesting #dataengineering #datafusion #reliability

@data_engi