高效向量索引工具
turbovec 是基于 Google Research TurboQuant 算法的 Rust 向量索引,提供 Python 绑定,支持局部内存高效存储和快速检索。
- 1000 万文档语料在 float32 下需 31 GB RAM,turbovec 仅占 4 GB 且检索速度超过 FAISS。
- 采用手写 NEON(ARM)和 AVX-512BW(x86)内核,在 ARM 上比 FAISS IndexPQFastScan 快 12‑20%,在 x86 上匹配或超越。
- 支持在线摄入、无需训练或重建,可通过 IdMapIndex 实现稳定外部 ID 的增删改查。
- 提供 LangChain、LlamaIndex、Haystack、Agno 的 drop‑in 替换,直接替换原有内存向量存储
GitHub
#GitHub #开源
📢 频道:@GitHubTrendingHub
Post #115
11
