S4 - высокопроизводительный сервер объектного хранилища, совместимый с S3, написанный на Rust. Он решает проблему исчерпания inode, характерную для традиционных файловых систем хранения данных, и предоставляет расширенные возможности, такие как атомарные операции с каталогами и дедупликация с адресацией по содержимому.

Возможности:
- совместимость с API S3: Полная совместимость с API AWS S3 (AWS CLI, boto3 и т. д.)
- проблема с inode решена: хранение логов только с добавлением данных исключает исчерпание inode.
- дедупликация контента: автоматическая дедупликация экономит 30-50% места для хранения.
- версионирование объектов: S3-совместимое версионирование с использованием маркеров удаления.
- политики жизненного цикла: автоматическое удаление объектов и удаление старых версий.
- атомарные операции: переименование каталогов с миллионами файлов за миллисекунды.
- строгая согласованность: гарантируется запись данных перед возвратом успешного результата.
API для управления идентификацией и доступом (IAM) и администрирования: управление доступом на основе ролей (читатель, писатель, суперпользователь) с аутентификацией JWT.
- S3 Select SQL: Запрос объектов CSV/JSON/Parquet с использованием полного SQL-запроса (на базе Apache DataFusion)
- многообъектный SQL: Расширенный запрос S3 SELECT с использованием шаблонов glob для выполнения запросов к нескольким объектам.
- высокая производительность: оптимизировано для работы в одноузловой среде.
- встроенный WebUI
- поддержка CORS
- MIT или Apache license 2.0

https://github.com/s4core/s4core

web: https://s4core.com

habt: https://habr.com/ru/articles/1007060/


Опубликовано в @gitgate

#s3 #docker #webui #cors