Ещё одна мысль вслух о полезных функциях при публикации курируемых датасетов/дата продуктов и дата каталогов. У DuckDB есть опция подключения к базе данных находящейся в где-то в сети. Это выглядит как опция когда хочется распространять данные к которым полезно подключение через SQL, помимо других способов. Я в таком виде распространяю базы internacia-db в папке data/datasets лежит файл intenacia.duckdb к которому можно вот так подключиться напрямую. И в базе реестра порталов данных dataportals-registry в data/datasets лежит файл datasets.duckdb

Это менее удобно чем parquet в части объёмов передаваемых данных поскольку файлы базы DuckDB менее компактны, но достаточно удобно и быстро для справочных и небольших баз данных.

#opendata #datasets #duckdb #dataengineering