Привет, это Муса Мусаев, ведущий разработчик витрин данных. Каждый день мы обеспечиваем доставку ∼10 млрд записей в разных форматах. Это данные, связанные с товарными запасами и движениями.
❓Наша задача — 5 раз в день обогащать многомиллионные датасеты миллиардами атрибутов. И делать это быстро. Но как мы все знаем, ClickHouse читает данные огромными блоками, и при случайном доступе эффективность падает к нулю.
❗️Решили проблему через принцип локальности данных и виртуальные партиции.
💻 В статье я делюсь чертежами архитектуры и боевыми примерами таблиц на ReplicatedReplacingMergeTree. Под капотом: схемы и наш четырёхшаговый ритуал ускорения.
Главный вывод — физическая близость данных важнее любых индексов.
#ozontech_habr #CH