Turbovec 能让 RAG 向量索引更适合生产吗?TurboQuant 的价值不只是省内存

如果你做过稍微大一点的 RAG 系统,大概率会遇到一个很尴尬的问题:模型越来越便宜,embedding 越来越容易生成,但向量索引反而开始变成一门“内存生意”。 1000 万条 1536 维 float32 embedding,光原始向量就接近 60GB;即便只按 Turbovec README 里较保守的“1000 万文档 31GB float32 corpus”说法,对很多团队来说也已经不是随便塞进一台小机器的规模。于是大家开始在 FAISS、HNSW、PQ、云向量数据库之间来回选:要么内存贵,要么召回掉,要么写入和删除麻烦,要么把私有数据交给外部服务。 这也是我觉得 Turbovec 值得写的原因。它不是又一个“我也能做向量搜索”的玩具项目,而是把 Google Research 的 TurboQuant 论文做成了 Rust 向量索引和 Python 绑定,目标很明确:用 2-bit/4-bit 量化把内存打下来,同时保留足够好的近邻搜索效果,并且支持在线写入、删除、增量持久化和过滤检索。 先说我的判断:Turbovec 暂时不该被理解成“FAISS 的全面替代品”。更准确的定位是——如果你的 RAG 场景看重本地部署、低内存、增量更新和租户/权限过滤,它提供了一条很有工程味的路线。 TurboQuant 解决的不是“搜索算法”,而是“向量怎么更便宜地放进内存” 很多人看到向量索引,第一反应是 HNSW、IVF、PQ、rerank 这些词。但 TurboQuant 的切入点更底层:高维向量能不能用更少 bit 表示,同时尽量少破坏几何结构? 论文里的核心思路有点反直觉。它不是像传统 product quantization 那样先训练码本,再把向量分块映射到码本;而是先对输入向量做随机旋转,让坐标分布更集中、更接近可分析的形式,然后对每个坐标使用标量量化器。论文称这种 data-oblivious 方案适合在线应用,因为它不依赖针对某个数据集预训练出来的 codebook。 用人话说就是:它试图把“索引前先训练、调参、重建”的麻烦拿掉。新向量来了,直接量化进索引,不用等一轮离线训练。 这点对 RAG 很关键。企业知识库不是一次性导入完就不动了,文档会更新,权限会变,用户会删除数据。很多 demo 里“离线构建一个索引”的假设,到了生产环境就变成持续维护索引的一堆脏活。Turbovec README 明确强调 online ingest、O(1) remove-by-id、增量 sync(path),这些功能比“某个 benchmark 快 20%”更像生产系统真正需要的东西。 它为什么会在 HN 上火:4GB 本地索引击中了 RAG 的成本焦虑 这次 HN 讨论页 Turbovec – Google’s TurboQuant for vector search in Rust 的热度不低。最打动人的不是“Rust”这个标签,而是 README 里那句很直接的承诺:1000 万文档的 float32 corpus 需要 31GB RAM,Turbovec 可以压到 4GB,并且搜索比 FAISS 更快。 ...

August 19, 2026 · 2 min · Hypho

GigaToken 能把 LLM Tokenization 做到 GB/s 吗?先别急着替换 tiktoken

Tokenization 这件事平时很不起眼,直到你真的开始处理 TB 级训练语料、做离线 embedding、或者给日志回放系统补算 token 成本,才会发现它不是“模型前面那一点点预处理”。 我看到 GigaToken 在 Hacker News 上拿到 600 多分时,第一反应其实不是“又一个性能神话”,而是:如果它的数字成立,LLM 数据管线里有一类被我们默认接受的慢步骤,可能确实该重新算账了。 项目本身很直接。GigaToken 是一个 Rust 写的语言模型 tokenizer,README 里给出的目标是“Language model tokenization at GB/s”,并且提供两种用法:一种是自己的高速 API,让 Rust 直接读文件;另一种是兼容 HuggingFace Tokenizers 或 tiktoken 的包装 API。作者在基准里声称,在 144 核 AMD EPYC 机器上,GPT-2 tokenizer 可以跑到 24.53 GB/s,而 HuggingFace Tokenizers 是 24.8 MB/s,tiktoken 是 36.0 MB/s;在 Apple M4 Max 上,GPT-2 也能到 8.79 GB/s。 这个数量级很夸张,所以我不建议只看“1000x”这个标题。 更有价值的问题是:它到底优化了什么?以及这些优化在你的生产链路里会不会被别的瓶颈吃掉? Tokenization 为什么会慢 LLM tokenization 通常不是简单的 split()。以 BPE/Byte-level BPE 这类 tokenizer 为例,流程大概包括预切分、字节或 unicode 归一、查表、merge ranking、特殊 token 处理,以及把结果打包成 Python 侧可消费的数据结构。很多工程团队会默认使用 HuggingFace Tokenizers 或 OpenAI tiktoken,它们本身已经不是慢吞吞的纯 Python 实现,而是 Rust/C++ 等底层实现加 Python binding。 ...

July 24, 2026 · 2 min · Hypho