10 млн документов в 4 ГБ RAM
⠀
turbovec бьёт в обычную проблему RAG: векторные индексы быстро съедают память.
⠀
В README проекта заявляют простую цифру: корпус на 10 млн документов в float32 занимает 31 ГБ RAM, а turbovec укладывает его в 4 ГБ и при этом ищет быстрее FAISS.
⠀
По-человечески: большой векторный индекс можно держать локально. Не тащить документы во внешнюю векторную базу и не покупать лишнюю память только потому, что эмбеддинги распухли.
⠀
Что делает turbovec:
• хранит векторный индекс на Rust и даёт Python-обвязку;
• использует TurboQuant от Google Research;
• добавляет векторы без обучения словаря квантования и долгой пересборки;
• умеет искать только внутри нужного набора документов — например по клиенту, правам доступа, кандидатам из BM25 или временному окну;
• работает локально: данные остаются на машине или внутри VPC.
⠀
Вот это последнее особенно важно. Для внутренних баз, документов клиентов, юридических архивов, медкарточек и корпоративного поиска внешняя векторная база часто упирается в комплаенс, безопасность и цену ошибки.
⠀
Если заявления проекта подтвердятся в живых нагрузках, turbovec — хороший кирпич для приватного RAG: меньше RAM, меньше инфраструктуры, меньше причин отдавать память и данные внешним сервисам.

🧱🔧🧬📈💎🟣🟢
⠀
Источник: Tom Dörr / GitHub

Разборы без шума: @human20
Платформа: human20.app