手上有几百万条 JSONL 或 SQLite 记录,agent 要查其中一条时不用把整份历史读进上下文,装个单文件二进制建好索引,直接问。
https://github.com/elstongun/leviathan
Rust 编译的单文件,吃 JSONL、JSON、CSV/TSV、SQLite,也能接 psql、duckdb 之类 CLI 的导出,建一个 FTS5 索引,全部塞进一个 SQLite 文件。
agent 提问时返回几张带引用的卡片,1M 条记录(678 MB)下中位 436 token,换成 grep 是 107122 token;官方跑的 benchmark 里 top 5 相关记录命中 99.0%,rank 1 98.5%,中位延迟 33 ms。
互联网充电|优质资源
优质内容|内幕消息
Post #52620
62

- 👍 1