CarWatch 把本地 LLM 塞进汽车:车载 AI Agent 能不能离线跑生产级?

车载 AI 我以前一直有点不信。 不是不信汽车会越来越智能,而是不信“把一个聊天机器人接进车里”这件事能马上变成有用的工程系统。汽车不是网页应用,网络会断,电源会抖,传感器会撒谎,用户还可能在高速路上问它问题。一个会幻觉的 Agent 如果把保养手册、车况告警和远程控制混在一起讲,听起来很酷,实际很危险。 所以这两天 Hacker News 上的 CarWatch 让我停下来多看了几眼。它不是又一个“云端大模型接入汽车 App”的宣传页,而是一个开源项目:Raspberry Pi 5 放进车里,本地跑 Qwen 35B 量化模型,用 whisper.cpp 做离线语音转写,用车主手册做本地 RAG,再把车作为一个房间里的 Agent 接入 GroupMind。HN 原帖标题很直接:“I made a Raspberry with Qwen my local car AI”。 我觉得它真正值得写的点,不是“树莓派竟然能跑 35B 模型”这个噱头,而是它暴露了车载 Agent 的一个核心问题:当 AI Agent 从浏览器和 IDE 走向物理世界,第一原则不是更聪明,而是可感知、可降级、可拒答。 离线不是情怀,是车载场景的硬约束 CarWatch README 里有一句话我很认同:Local is the product; online is the enrichment。翻译成人话就是:本地能力不是兜底功能,而是产品本体;联网只是锦上添花。 这和很多 AI 产品的默认思路相反。我们现在习惯了把复杂任务丢给云端大模型,延迟、成本、隐私都可以慢慢优化。但车不一样。它会进地下车库,会跑乡间路,会穿隧道,会停在没有信号的地方。你最需要它回答“这个警告灯是什么意思”“现在能不能继续开”“保养手册第几页写了机油规格”的时候,恰好可能没有网络。 CarWatch 的设计把几件事固定在车内完成:语音输入、车主手册问答、机器自身状态读取、基础车况追踪、同 Wi-Fi 下的手机仪表盘。联网以后,它再把消息、视频片段、更新和更大的模型接进来。这个分层比“所有请求先发云端,失败再提示网络错误”靠谱得多。 说白了就是:车载 AI 的第一条 SLA 是断网可用。 这也是它和我之前写过的 本地 LLM 推理选型 能接上的地方。本地推理在桌面上常常是隐私或成本选择,在车里则直接变成可用性选择。你可以忍受本地模型慢一点,但不能接受关键场景完全不可用。 35B 模型跑在 Pi 5 上,重点不是速度,而是任务边界 CarWatch 声称实测硬件是 Raspberry Pi 5 16GB,运行 Qwen3.6-35B-A3B 的 Unsloth 动态量化版本,模型文件约 14.3GB,生成速度约 3.5 tok/s,prompt 处理 25+ tok/s,持续温度 65°C。项目仓库也确实不是空壳:GitHub API 显示它有 100+ stars,最近提交就在 2026-08-25,目录里有 carwatch/、systemd/、tests/、scripts/、install.sh、config.example.json 等可运行工程结构。 ...

August 26, 2026 · 2 min · Hypho

Turbovec 能让 RAG 向量索引更适合生产吗?TurboQuant 的价值不只是省内存

如果你做过稍微大一点的 RAG 系统,大概率会遇到一个很尴尬的问题:模型越来越便宜,embedding 越来越容易生成,但向量索引反而开始变成一门“内存生意”。 1000 万条 1536 维 float32 embedding,光原始向量就接近 60GB;即便只按 Turbovec README 里较保守的“1000 万文档 31GB float32 corpus”说法,对很多团队来说也已经不是随便塞进一台小机器的规模。于是大家开始在 FAISS、HNSW、PQ、云向量数据库之间来回选:要么内存贵,要么召回掉,要么写入和删除麻烦,要么把私有数据交给外部服务。 这也是我觉得 Turbovec 值得写的原因。它不是又一个“我也能做向量搜索”的玩具项目,而是把 Google Research 的 TurboQuant 论文做成了 Rust 向量索引和 Python 绑定,目标很明确:用 2-bit/4-bit 量化把内存打下来,同时保留足够好的近邻搜索效果,并且支持在线写入、删除、增量持久化和过滤检索。 先说我的判断:Turbovec 暂时不该被理解成“FAISS 的全面替代品”。更准确的定位是——如果你的 RAG 场景看重本地部署、低内存、增量更新和租户/权限过滤,它提供了一条很有工程味的路线。 TurboQuant 解决的不是“搜索算法”,而是“向量怎么更便宜地放进内存” 很多人看到向量索引,第一反应是 HNSW、IVF、PQ、rerank 这些词。但 TurboQuant 的切入点更底层:高维向量能不能用更少 bit 表示,同时尽量少破坏几何结构? 论文里的核心思路有点反直觉。它不是像传统 product quantization 那样先训练码本,再把向量分块映射到码本;而是先对输入向量做随机旋转,让坐标分布更集中、更接近可分析的形式,然后对每个坐标使用标量量化器。论文称这种 data-oblivious 方案适合在线应用,因为它不依赖针对某个数据集预训练出来的 codebook。 用人话说就是:它试图把“索引前先训练、调参、重建”的麻烦拿掉。新向量来了,直接量化进索引,不用等一轮离线训练。 这点对 RAG 很关键。企业知识库不是一次性导入完就不动了,文档会更新,权限会变,用户会删除数据。很多 demo 里“离线构建一个索引”的假设,到了生产环境就变成持续维护索引的一堆脏活。Turbovec README 明确强调 online ingest、O(1) remove-by-id、增量 sync(path),这些功能比“某个 benchmark 快 20%”更像生产系统真正需要的东西。 它为什么会在 HN 上火:4GB 本地索引击中了 RAG 的成本焦虑 这次 HN 讨论页 Turbovec – Google’s TurboQuant for vector search in Rust 的热度不低。最打动人的不是“Rust”这个标签,而是 README 里那句很直接的承诺:1000 万文档的 float32 corpus 需要 31GB RAM,Turbovec 可以压到 4GB,并且搜索比 FAISS 更快。 ...

August 19, 2026 · 2 min · Hypho

Mistral OCR 4.1 能不能做生产级文档 AI?别只看识别率,要看版面、置信度和管线控制权

如果你在做企业知识库、合同解析、票据抽取,最容易高估的一件事是:OCR 识别率高,就等于文档 AI 可以上线。 我以前也这么想。直到真实项目里遇到一堆 PDF:页眉页脚反复出现、两栏排版打乱阅读顺序、表格跨页、扫描件歪斜、脚注插在正文中间。模型把字识别出来了,但下游 RAG 还是答错。原因很简单:文档不是一串文字,文档是有结构的。 所以我看到 Mistral OCR 4.1 在 Hacker News 上被讨论时,第一反应不是“又一个 OCR 模型”,而是想看它有没有解决工程上真正痛的三个问题:版面位置、结构标签、置信度。Mistral 的官方说明里,OCR 4.1 是其 Document AI stack 的 OCR 服务,公开预览版本支持 paragraph-level bounding box extraction、structural block labels、block-level confidence scores,并通过 /v1/ocr 和 batch 能力提供服务。 这几个词很产品化,但放进生产管线里,意义不小。 OCR 的难点早就不是“认字”了 传统 OCR 系统最关注字符识别:这行字是不是“Invoice No.”,金额是不是 $1,204.55。但企业文档 AI 的失败,很多时候不是字符错,而是结构错。 比如一份供应商合同里有两栏条款,左栏是定义,右栏是例外说明。OCR 如果按页面从左到右、从上到下粗暴展开,LLM 看到的可能是“定义 A + 定义 B + 例外 A + 例外 B”。字都对,语义顺序错了。 再比如财报 PDF 里一张表,第一列是年份,后面三列是地区收入。如果 OCR 只吐出 Markdown 文本,下游 chunker 可能把表头和数值切开。向量检索命中其中一半,LLM 就开始一本正经地编。 ...

August 14, 2026 · 2 min · Hypho

RAG 处理图片的正确姿势:索引时描述,而不是查询时看图

做 RAG 的人大多有个盲区:眼睛只盯着文字。 你花了两周调 chunk size,换了三种 embedding 模型,reranker 也加上了——《Rerank 在 RAG 中的角色:Bi-Encoder vs Cross-Encoder》里讲的那些优化你全做了。但回头一看,技术文档里的截图、架构图、参数表格,这些图片承载的信息,你的系统压根没碰。 这不是小问题。kapa.ai 的团队最近在 Hacker News 上分享了他们的生产实践(89 points),标题直白:How we index images for RAG。他们服务 200+ 客户,知识库里有数百万张图片,每天处理百万级查询。这篇文章把他们的方案拆开来看,顺便聊聊 ColPali 等另一条路线,以及你到底该选哪条。 图片在技术文档里到底干了什么 kapa.ai 把文档图片分成两类,这个分类非常实用。 说明型(illustrative):文字说"点击设置图标",旁边的截图标出了图标在哪、长什么样。图片让答案更直观,但信息本身在文字里也有——用户不看图也能做事,只是要多找一会儿。 承重型(load-bearing):接线图、参数规格表、认证矩阵、颜色可选表——这些图里的数值只存在于图片中。你不看图,就根本不知道答案。 他们跑了上千条真实客户问题验证:有图片上下文时,LLM 评委(McNemar 检验,p < 0.05)显著偏好带图片的答案。效果不是微调能弥补的那种——是用户能感知到的质变。 但问题来了:怎么把这些图片喂给 LLM? 查询时看图:一个看起来对、实际上贵到用不起的方案 直觉反应是:检索到相关 chunk 后,把它们引用的图片一起丢给多模态模型(GPT-5.1、Claude 4.6 Sonnet 等)。kapa.ai 测试了这个方案,发现三个结构性问题: 1. 贵得离谱。 原始图片让 GPT 单次查询成本增加 27%,Claude 增加 51%(Claude 把一张图编码成约 975 tokens,GPT 约 716)。kapa.ai 每天百万级查询,这笔钱根本花不起。 2. 塞不进去。 一个典型问题检索 10-30 个 chunk,平均引用 20-30 张图片,长尾能到 130 张。Claude 的 payload 上限 30 MB,OpenAI 的 50 MB——超过 20 张图就撞墙了。 ...

June 3, 2026 · 2 min · Hypho

向量数据库已经很快了,为什么还要重排?RAG 系统中 Bi-Encoder 与 Cross-Encoder 的工程对决

一个让工程师失眠的 Bad Case 2025 年中,某金融科技公司在内部知识库问答系统中引入 RAG(检索增强生成)。系统上线后,用户反馈普遍不错——直到某天,一个风控团队的用户问:“我们有哪些客户曾经有过信用违约记录?” RAG 系统检索返回了三条"高相关"文档,AI 基于这些文档给出了自信满满的答案。风控经理看完后直接冷汗:系统返回的内容全是关于"信用良好客户"的正面案例,和用户的查询意图完全相反。 事后排查发现,问题出在向量检索阶段。用户的查询"信用违约记录"和文档中大量出现"信用"“违约"字眼的高频正面记录产生了极高的余弦相似度,而真正描述违约事件的文档因为语言表达更隐晦,反而相似度偏低,被 Top-N 过滤掉了。 这是一个典型的向量检索只看词不看语义关系的失败案例。1 向量检索的物理课:两个不相识的学生在各自考试 理解为什么向量检索会"看走眼”,需要先理解它的工作原理。 向量检索的核心是Bi-Encoder(双编码器)架构。当你把文档存入向量数据库时,每个文档都会通过一个 Encoder 被压缩成一个固定长度的向量——通常 768 维或 1024 维。这个过程发生在入库时,与用户未来的查询完全无关。 当用户发起查询时,查询文本同样通过 Encoder 生成一个查询向量。然后,数据库在高维空间中做最近邻搜索(通常用余弦相似度或内积),找出与查询向量"距离最近"的 N 个文档。 这个过程有一个非常关键的特征:Query 和 Document 的编码是独立完成的,它们从未"见面"。 斯坦福大学 NLP 组有一个很直观的比喻:就像两个学生分别在不同的考场同时参加考试,学生 A(Query 编码器)看了一眼题目后把答案写成压缩笔记,学生 B(Document 编码器)提前把教科书内容写成压缩笔记。考试结束后,系统只是比较这两份笔记的"形状"有多像,而不知道题目问的是什么。 这解释了为什么"信用违约记录"的查询会匹配到"信用良好客户"文档:两份文档都高频出现"信用"字眼,它们的向量在语义空间中距离很近,而模型根本不知道"违约"和"良好"是反义词。 重排模型:让 Query 和 Document 当面对质 Cross-Encoder(交叉编码器)采用了完全不同的策略。 它不做"独立压缩",而是把**[Query + Document] 拼接成一段完整文本**,一次性通过一个深度神经网络(如 BERT)。在这个过程中,模型的注意力机制(Self-Attention)会在每一个 token 层级做交叉比对——当读到 Query 中的"违约"时,它会立刻去 Document 中寻找是否存在"违约"、是否存在语义矛盾、是否存在否定结构。 这种"当面对质"的方式,让 Cross-Encoder 能捕捉到 Bi-Encoder 完全无法处理的关系: 语义否定:Query “如何不用 Python” vs Document “Python 教程”——Bi-Encoder 会给高分,Cross-Encoder 能识别"不"的否定作用 长距离依赖:查询涉及某个条件组合,文档在开头提到条件A、结尾提到条件B,Cross-Encoder 的注意力能跨越全文找到同时满足两个条件的文档 细微差异:两份文档语意相近但立场相反(如上面的违约案例),Cross-Encoder 能识别出差异 用一个直观的对比表总结: ...

March 19, 2026 · 2 min · Hypho