🤔 Часто в вакансиях вижу S3. Решил напомнить (или рассказать тем, кто не знает) - что это вообще такое 👇
S3 (Amazon Simple Storage Service) - если совсем просто, это «бездонная бочка». Гигантский виртуальный склад. Кидаешь туда файл любого типа и размера - и не думаешь, что место кончится.
Как оно устроено?
В отличие от компбютера(файловой системы) где файлы лежат в папках, тут всё плоское. Без иерархий. Вот три основных понятия, которые надо знать:
🪨Объект - сам файл. Картинка, видео, документ, лог. У него есть:
🔘сами данные
🔘метаданные (размер, тип и прочее)
🔘ключ - уникальный адрес, по которому его найдёшь
📦Бакет - контейнер верхнего уровня, куда складываешь объекты. Название бакета должно быть уникальным во всей системе. Вообще всей.
🔑Ключ - полный путь к файлу. Например,
documents/2023/invoice.pdf.
Вся строка целиком - это и есть ключ. Похоже на папки, да. Но внутри - нет, просто строка.
Почему S3 все так любят?
♾Место не кончается - терабайты, петабайты. Система сама расширяется, когда ты добавляешь файлы.
💰 Дёшево - в 10–20 раз дешевле, чем хранить то же самое в нормальной базе данных или Data Warehouse.
❤️Никуда не денется - данные копируются между серверами и даже между разными городами (дата-центрами). Риск потерять почти ноль.
Но есть и минусы, куда без них
❌ Неизменяемость - объекты нельзя просто «поправить». Хочешь изменить одно слово в текстовом файле? Качай новую версию целиком, перезаписывай старую. Всё заново.
❌ Не для баз данных - S3 медленнее, чем обычный диск. Не подходит для вещей, где данные надо менять мгновенно (например, для работающей базы интернет-магазина).
⏱ Задержки - доступ к файлу может быть медленнее, чем в обычной файловой системе.
А ещё S3 — это фундамент современной аналитики
Его называют «фундаментом» для Lakehouse. На S3 лежат огромные массивы сырых данных в открытых форматах (типа Parquet). А системы вроде Delta Lake или Apache Iceberg превращают эти файлы в удобные таблицы для аналитиков. Красота 🍾
Сделать вам обзор на Delta Lake и Apache Iceberg (или уже 10 раз про них успели прочитать)?