Находка: лёгкий локальный векторный поиск, с которым можно быстро собрать собственную базу знаний.

Опенсорс проект zvec от Alibaba уже набрал 10,3 тыс. звёзд на GitHub и активно используется внутри Alibaba в крупных продакшен-сценариях.

Обычно для векторного поиска приходится поднимать отдельный сервис: Pinecone, Weaviate, Qdrant или что-то ещё. Плюсом идут - настройка, инфраструктура и деплой. Для небольших проектов это часто оказывается слишком хардкорно

С zvec всё проще. Он встраивает всю векторную базу данных прямо в ваш процесс - примерно так же, как SQLite работает с реляционными базами данных. Установили через pip, создали коллекцию несколькими строками кода, загрузили данные - и можно выполнять поиск по сходству. Никаких серверов, конфигурационных файлов и доп.инфраструктуры, всё хранится в одном локальном файле.

zvec умеет искать среди сотен миллионов векторов за миллисекунды и поддерживает гибридный поиск: векторный + полнотекстовый. Работает на ноутбуках, серверах и даже на edge-устройствах.

Обновление v0.5.0 от 12 июня заметно расширило возможности проекта:

↳ Нативный полнотекстовый поиск без внешних поисковых движков
↳ Гибридный поиск, объединяющий векторы, ключевые слова и фильтры в одном запросе
↳ Новый дисковый индекс, существенно снижающий потребление памяти на больших объёмах данных
↳ Zvec Studio — визуальный инструмент для просмотра данных и отладки без написания кода

100% опенсорс 😁