Новости AWS

Amazon на днях представил новый тип bucket: «Table bucket», который заточен под хранение Iceberg. Выходит, что Iceberg всех победил и гигант рынка предлагает связку Athena (Trino/Presto/Spark) с Iceberg на S3 как один из вариантов быстрого, надежного, хранилища.

Ребята пишут, что новый тип хранения прячет от пользователя рад операций, которые нужно выполнять при обслуживании хранилища в такой конфигурации. Такие как:
- объединение (compaction): ряд небольших файлов сливаются в один для увеличения скорости обработки
- управление снимками (snapshot management): обычная ротация, старые снапшоты помечаются на удаление и чуть позже удаляются
- очистка (Unreferenced File Removal): автоматическое удаление неиспользуемых файлов.

Исходя из вышеуказанного, выходит, что новый тип позволит как снизить нагрузку на чтение, так и сэкономить на стоимости хранения.