А всё благодаря механизму S3 Inventory. Он сам собирает метаданные из исходного бакета, обрабатывает их и выгружает в целевой бакет пользователя.
Привет! Это Артём Мурашко, разработчик в Yandex Infrastructure. Я уже четвёртый год работаю с Yandex Object Storage — объектным хранилищем Яндекса.
➡️ Читайте в блоге Yandex Infrastructure, как мы вместе с командой выстроили систему сбора метаданных, с какими сложностями столкнулись и как нам удаётся листить миллиарды объектов за такое короткое время.