🐊 ChromaDB для векторного поиска

Только я вам рассказал про наш с Сашей доклад, как врдруг в блоге .NET вышел мини-пост с анонсом SDK для базки векторного поиска – ChromaDB.

5 марта будет сам стрим (хотя в статье написано что 26-го, но стрим в ютубе стоит на 5-ое)

Почитал немного про ChromaDB

Несколько ключевых штук, которыя я для себя смог понять🔑

1️⃣ Пока что она не production-ready

2️⃣ Hosted версия пока что только по предзаписи

3️⃣ Год назад в реддите жаловались и просили найти альтернативы

Кстати, несколько комментаторов там как раз предложили расширение pgvector для PostgreSQL, про которое я упоминал в докладе и которое дает возможность работать с векторами на уровне базки.

🍑 НО все же, если подводить итог. То в перспективе ChromaDB лучше должна будет подойти под быстро отзывчиваю систему, так как они типа стараются как можно больше запросов обработать в оперативке и записать на диск уже после обработки, через write-behind.

При этом выглядит так, что если хочется чуток поиграться с RAG и у вас уже есть PostgreSQL и вы не планируете супер-респонсивнеса, то можно пробовать pgvector. А если вы замахиваетесь на что-то супер-пупер быстрое и прям ваще мегасложное LLM-непотребство, то надо видимо уже сейчас смотреть на ChromaDB и изучать.

К сожалению так и не нашел никаких докладов, чтобы кто-то делился опытом, какова эта штука в продакшене. Так что ждемс.

Короче, нужно следить за этой штукой и посмотреть стримчик, может там что-то полезное расскажут. Но чувствуется, что просто хэллоуворлд сделают и все.