TGViewer
Agentic Engineer Agentic Engineer @data_engi · 689 subscribers
Post #981 250

Forwarded from DataEng

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).

Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя их в продакшн.

HTAP

Существуют и гибридные базы данных HTAP - Hybrid Transactional/Analytical Processing. Они сочетают в себе сразу 2 типа системы: транзакционное и аналитическое хранилище. Мотив простой: объединить всё в одну систему и исключить промежуточные процессы по загрузке данных из других систем. Я накопал пример такой БД: TiDB от PingCap. Не думаю, что основная цель таких БД заменить главное аналитическое хранилище, скорее решить специфическую задачу, где критически важно быстро обрабатывать операционные и аналитические запросы сразу без промежуточных этапов.

Data Lakes

Хранилище неструктурированных данных. Если OLTP и OLAP предъявляют требования по организации и хранению данных, то Data Lakes это своего рода помойка, где данные могут лежать в любом формате и виде: текстовые файлы, бинарные данные, данные в форматах по типу Parquet или Avro.
  • ❤‍🔥 7
More from @data_engi
  1. Oct 13, 2026Post #1414
  2. Oct 12, 2026Кодовый агент умеет чинить — но не всегда умеет остановиться 🫡 8 октября исследователи об…
  3. Oct 11, 2026Агент признавал поиск бесполезным — и всё равно продолжал искать 👀 Исследователи дали сем…
  4. Oct 11, 2026Cloud SQL перестал обновлять каталог схем раз в сутки 🖼️ 9 октября Google включила почти…
  5. Oct 10, 2026Инструменты агента теперь можно подключать вместе со скиллом 😨 7 октября LangChain обнови…
  6. Oct 10, 2026Flink CDC встроил ИИ-преобразования прямо в поток изменений 🍴 Сегодня 10 октября выкатили…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →