DuckDB 2.0: что нового в обновлении

DuckDB 2.0 значительно ускоряет работу с данными. Главные изменения:

• Асинхронный ввод-вывод: теперь запросы к S3 работают в 2–3 раза быстрее. Отдельный пул потоков загружает данные заранее, пока основные рабочие процессы заняты декодированием. Функция включена по умолчанию.

• Рекурсивные CTE: движок переписан для глубоких иерархий. Запросы к цепочкам вроде истории коммитов или оргструктур теперь выполняются в разы быстрее, так как таблица сканируется один раз, а не на каждом уровне рекурсии.

• Тип данных VARIANT: теперь эффективно работает с JSON через «шреддинг». Постоянные поля извлекаются в отдельные колонки, что сокращает размер хранилища в 3 раза и ускоряет фильтрацию до 6 раз. Это превращает работу с полуструктурированными данными в почти полноценную работу с типизированными таблицами.

рекомендуем:
@TheWallStreetJournalRussia