ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.
и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд.
https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh
⌘⌘⌘
интересно посмотреть со стороны аналитики и нашего двх-мира.
→ очереди настраиваются через SQL-команды (кажется, в кликхаусе можно так же настроить читателя для кафки). в целом удобно, но хз как будет поддерживать в масштабе сотен таких топиков-читателей.
→ изначально идут по пути раздельного хранения и обработки — соответственно, можно независимо масштабировать под текущую потребность.
→ добавили колоночное хранение c массивно-параллельными вычислениями через векторные движки
→ стоимостной оптимизатор (cost-based) для плана запроса с подбором оптимального порядка и алгоритма джойнов
→ поддержка скл-хинтов для ручных подсказок оптимизатору
→ спиллы на диск для больших вычислений
→ нативная поддержка охлаждения данных в s3 (автоматическое гибридное хранение для колоночных таблиц)
→ сбор статистики для таблиц
→ predicate pushdown для оптимизации чтения
→ федеративные sql-запросы из разных источников
→ пулы ресурсов — разделение под разные нагрузки
→ асинхронная репликация между удб-инстансами
по мотивам обзорного доклада про новости удб с конфы yandex scale
https://vkvideo.ru/video-200452713_456239488
и недавнего вебинара, посвященного релизу ydb dwh (
1/2