S3Sync - действительно быстрый инструмент синхронизации для S3

Основная особенность: очень высокая скорость. Средняя скорость листинга составляет около 5 тыс. объектов/сек для S3. При 128 рабочих процессах средняя скорость синхронизации составляет около 2 тыс. объектов/сек (небольшие объекты 1–20 кб) (ограничено скоростью восходящего канала 1 Гбит).

Возможности:
- многопоточная загрузка/выгрузка файлов
- возможна синхронизация несколькими способами:
* S3 в локальную FS
* Локальная FS в S3
* из S3 в S3
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению, Content-Type, ETag и mtime объекта

https://github.com/larrabee/s3sync

Посвящается южнокорейским коллегам.

Опубликовано в @gitgate

#s3 #sync