TGViewer
Архитектор Данных Архитектор Данных @analyticsfromzero · 1.89K subscribers
Post #106 999
Интересный вопрос от подпичика.

Мое мнение - тип хранилища не так важен. Может быть и HDFS, может быть и корпоративная SAN блочка.

Важнее - возможность разделить и независимо управлять сторажем и компьютом.

Важнее - мультисервисный доступ к данным. N кластеров Trino/Hive и K кластеров Spark могут читать и писать в один датасет. Это "лейковость".

Важнее - (квази)транзакционность и ACID-ность записи. Это "варехаусность".

Тип контейнеризации (k8s, nomad, yarn), формат данных (iceberg, parquet), набор сервисов (Trino или Impala, Kafka или Flink), тип хранилища (блочка, объектное, hdfs) - более гибкие вопросы.

Есть более удобные и менее удобные сервисы. В будущем появятся новые (замена Spark на что-то более легковесное?).

Ответ на вопрос - если в хадуп добавить S3 протокол и даже Iceberg Catalog туда посадить - нет это не будет DLH. Все равно в этой парадигме нельзя(трудно) сделать N отдельных кластеров компьюта, K отдельных метасторов и гибко ими управлять.
  • 🤔 8
  • 👍 6
  • 🥰 3
More from @analyticsfromzero
  1. Oct 3, 2026Разговоры на Архитекторском - Выпуск 5 с Алмазом Хайфуллиным Тема: опыт переезда КХД с Gre…
  2. Oct 1, 2026Ода эффективным менеджерам «Это мне ИИшка посчитала, я не знаю, как и почему» От создателе…
  3. Sep 28, 2026На инфографике вы, дорогие коллеги, можете увидеть наше светлое будущее. График составлен…
  4. Sep 28, 2026Пользовательские соглашения наконец начали читать. Раньше пользовательские соглашения никт…
  5. Sep 27, 2026Когда я даю кандидатам тестовое Даю когда человек без супер скилов и резюме. Тогда ТЗ это…
  6. Sep 26, 2026Отказ по вакансии за использование ИИ в тестовом https://t.me/bdsmmchannel/1365 Не подрыва…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →