Новый алгоритм Google сжал 31 ГБ памяти до 4 ГБ 🤯

TurboVec - новый open-source инструмент для хранения данных, по которым ищет ИИ-приложение. Он использует до 16 раз меньше памяти.

Работает на базе Google TurboQuant, который убирает медленный этап подготовки, нужный большинству похожих решений.

Что умеет:

- ищет быстрее популярной альтернативы FAISS
- работает на Mac и обычных серверах
- позволяет точно сужать выдачу под нужный запрос
- напрямую подключается к LangChain и LlamaIndex
- хранит данные локально
- работает полностью офлайн
- поддерживает Python из коробки

Данные не покидают вашу машину. Инструмент полностью open source.

https://github.com/RyanCodrai/turbovec