🍴 Milvus индексирует озеро без копирования данных

29 июля вышел Milvus 3.0 с внешними коллекциями. Векторная база оставляет исходные данные в Parquet, Lance, Iceberg или Vortex на объектном хранилище, но строит поверх них собственные векторные, полнотекстовые, JSON- и скалярные индексы.

Для инженеров это убирает вторую копию терабайтов эмбеддингов и ETL-конвейер для её синхронизации. При добавлении колонок Milvus может обновить только затронутые сегменты, не перестраивая всю коллекцию.

Ограничения: внешние коллекции доступны только для чтения, требуют Storage V3 и обновляются через отдельную операцию refresh.

#milvus #vectorsearch #lakehouse #apacheiceberg #parquet #dataengineering #zerocopy

@data_engi