TiDB уплотняет журнал ещё до аварии

Обычный PITR восстанавливает снимок, а затем воспроизводит накопленные изменения как множество мелких записей через TiKV и Raft. После этого RocksDB ещё приходится разбирать образовавшийся долг по compaction.

В TiDB 8.5 журнал из объектного хранилища можно заранее и без участия рабочего кластера преобразовать в отсортированные SST-файлы. При восстановлении они загружаются блоками, а обычным способом воспроизводится только неуплотнённый хвост журнала.

Во внутреннем тесте на 4,2 ТиБ полное восстановление сократилось с 10 часов 13 минут до 35 минут. Для инженеров это снижает RTO без учащения тяжёлых полных резервных копий. Но снимки по-прежнему нужны, версии BR и TiDB должны совпадать, а локальное шифрование пока не поддерживается.

#tidb #pitr #backup #distributedsql #rocksdb #disasterrecovery #dataengineering

@data_engi