S3Sync - действительно быстрый инструмент синхронизации для S3. Ограничения - каждый объект загружается в оперативную память. Таким образом, вам потребуется объём оперативной памяти, равный <средний размер объекта> * <количество рабочих процессов>.
Умеет сихронизировать между как между локальным и удаленным инстансом
S3, так и напрямуж между удаленными инстансами. s3sync - неразрушающая односторонняя синхронизация: она не удаляет файлы в целевом или исходном пути, которые не синхронизированы.Возможности:
- многопоточная загрузка/выгрузка файлов
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению,
Content-Type, ETag и mtime объектаhttps://github.com/larrabee/s3sync
Опубликовано в @gitgate
#s3 #sync #backup