«10 миллионов документов помещаются в 4 ГБ ОЗУ»: https://github.com/RyanCodrai/turbovec

Корпус из 10 миллионов документов занимает 31 ГБ ОЗУ в формате float32. turbovec укладывает это в 4 ГБ и выполняет поиск быстрее, чем FAISS.

turbovec — векторный индекс на Rust с Python-обвязками, построенный на алгоритме TurboQuant от Google Research — data-oblivious квантизаторе, который достигает границы Шеннона по искажению без обучения и без проходов по данным.

👉 @PythonPortal