👀 Pinot научился исправлять пакетные данные без Kafka

В Apache Pinot 1.5 механизм upsert появился у пакетных OFFLINE-таблиц. При повторении первичного ключа база сохраняет запись с наибольшим значением указанной колонки — например, временем обновления.

Теперь корректировки, поздние данные и повторную загрузку снимков можно выполнять через обычные файлы, не создавая потоковый контур только ради обновлений.

Ограничение: поддерживается лишь полная замена строки. Изменение первичного ключа или колонки сравнения требует полной пересборки таблицы.

#apachepinot #upsert #olap #batchprocessing #dataengineering #datapipelines

@data_engi