车载 AI 我以前一直有点不信。
不是不信汽车会越来越智能,而是不信“把一个聊天机器人接进车里”这件事能马上变成有用的工程系统。汽车不是网页应用,网络会断,电源会抖,传感器会撒谎,用户还可能在高速路上问它问题。一个会幻觉的 Agent 如果把保养手册、车况告警和远程控制混在一起讲,听起来很酷,实际很危险。
所以这两天 Hacker News 上的 CarWatch 让我停下来多看了几眼。它不是又一个“云端大模型接入汽车 App”的宣传页,而是一个开源项目:Raspberry Pi 5 放进车里,本地跑 Qwen 35B 量化模型,用 whisper.cpp 做离线语音转写,用车主手册做本地 RAG,再把车作为一个房间里的 Agent 接入 GroupMind。HN 原帖标题很直接:“I made a Raspberry with Qwen my local car AI”。
我觉得它真正值得写的点,不是“树莓派竟然能跑 35B 模型”这个噱头,而是它暴露了车载 Agent 的一个核心问题:当 AI Agent 从浏览器和 IDE 走向物理世界,第一原则不是更聪明,而是可感知、可降级、可拒答。
离线不是情怀,是车载场景的硬约束
CarWatch README 里有一句话我很认同:Local is the product; online is the enrichment。翻译成人话就是:本地能力不是兜底功能,而是产品本体;联网只是锦上添花。
这和很多 AI 产品的默认思路相反。我们现在习惯了把复杂任务丢给云端大模型,延迟、成本、隐私都可以慢慢优化。但车不一样。它会进地下车库,会跑乡间路,会穿隧道,会停在没有信号的地方。你最需要它回答“这个警告灯是什么意思”“现在能不能继续开”“保养手册第几页写了机油规格”的时候,恰好可能没有网络。
CarWatch 的设计把几件事固定在车内完成:语音输入、车主手册问答、机器自身状态读取、基础车况追踪、同 Wi-Fi 下的手机仪表盘。联网以后,它再把消息、视频片段、更新和更大的模型接进来。这个分层比“所有请求先发云端,失败再提示网络错误”靠谱得多。
说白了就是:车载 AI 的第一条 SLA 是断网可用。
这也是它和我之前写过的 本地 LLM 推理选型 能接上的地方。本地推理在桌面上常常是隐私或成本选择,在车里则直接变成可用性选择。你可以忍受本地模型慢一点,但不能接受关键场景完全不可用。
35B 模型跑在 Pi 5 上,重点不是速度,而是任务边界
CarWatch 声称实测硬件是 Raspberry Pi 5 16GB,运行 Qwen3.6-35B-A3B 的 Unsloth 动态量化版本,模型文件约 14.3GB,生成速度约 3.5 tok/s,prompt 处理 25+ tok/s,持续温度 65°C。项目仓库也确实不是空壳:GitHub API 显示它有 100+ stars,最近提交就在 2026-08-25,目录里有 carwatch/、systemd/、tests/、scripts/、install.sh、config.example.json 等可运行工程结构。
3.5 tok/s 听起来不快。放在聊天产品里,它甚至有点慢。
但车载问答不是让模型连续写长文。它更像一个低频、短输出、强约束的助手:解释仪表盘状态、引用手册页码、总结一次行程、告诉你某个功能它不知道。只要交互设计不是要求它像 ChatGPT 一样长篇大论,3.5 tok/s 反而可能够用。
这里的工程判断很关键:边缘 AI 不是把云端体验原样搬到小设备上,而是重新定义任务边界。车内模型应该做“短、准、可验证”的工作;长规划、复杂搜索、多 Agent 协作,可以等网络恢复后再进入队列。
CarWatch 用 llama.cpp 这类本地推理生态,加上 Unsloth 量化模型,说明现在的边缘模型部署已经进入一个新阶段:不是每个应用都需要 H100,也不是每个离线场景都只能跑 7B 小模型。代价当然还在,内存、散热、启动时间、模型更新都要处理,但“车里跑一个足够有用的本地 Agent”已经不是纯 PPT。
不过我也不想把它吹过头。README 里的状态表把功能分成 proven、built + tested、planned,这是一个好习惯。OBD/DoIP 相关能力里有些仍是待真实车验证的部分,生产落地性还需要更多车型、适配器和异常场景测试。尤其涉及车辆控制时,任何“能读状态”到“能执行动作”的跨越,都不应该靠 prompt 约束硬扛。
RAG 在车里反而更容易做对
很多企业 RAG 项目做不好,一个原因是知识边界太大:网页、PDF、聊天记录、工单、数据库全往里塞,最后检索出来的上下文又脏又散。CarWatch 的车主手册 RAG 反而有天然优势:语料小、边界清楚、答案应该有页码依据。
项目 README 提到它把 745 页车主手册放在 SD 卡上,用本地 lexical RAG 给出页面引用,并且在手册没有依据时拒答。这个方向我很喜欢。车载 Agent 最怕的不是“我不知道”,而是“我编一个看起来很专业的答案”。
人话翻译一下:车主手册 RAG 不应该追求像客服一样圆滑,它应该像维修手册一样死板。能引用就引用,不能引用就说不能确认。
这和普通 RAG 系统里的 rerank、embedding、cross-encoder 取舍不完全一样。我之前在 RAG 召回和重排文章 里写过,复杂知识库通常需要更强的语义召回与重排。但车主手册这种结构化程度高、查询范围窄、要求可追溯的场景,简单 lexical RAG 未必是缺点。它可解释、可离线、依赖少,也更容易调试。
真正要补的是评测集。比如收集 100 个真实车主问题:保养、告警灯、胎压、拖车、混动电池、儿童锁、雨刷、灯光设置。每个问题标注手册页码和“是否允许回答”。这样才能知道系统是在真正 grounding,还是碰巧答得像。
把车接进 Agent 房间,有用,也危险
CarWatch 另一个有意思的地方,是它不是孤立聊天框。它会作为 @gle 这样的房间 Agent 发消息:出发、到达、行程总结、dashcam 片段、被撞事件,甚至和 CodeWatch 这类手机/手表端代理配合。这个想法很有吸引力:车不再只是 App 里的一个设备,而是一个会参与协作的实体。
想象一下,车抛锚了,它知道自己不能移动,把事件发到你的 Agent 房间;其他 Agent 可以查火车票、通知家人、准备保险材料。这个方向比“在中控屏上多一个聊天窗口”有价值得多。
但危险也在这里。
一旦车成为多 Agent 网络里的节点,权限边界必须非常硬。哪些信息可以广播?哪些动作需要确认?哪些任务只能读不能写?哪些模型可以看到位置和行程?如果后续接入云端大模型,预算、隐私、审计日志怎么做?如果房间里的另一个 Agent 被 prompt injection 诱导,能不能间接控制汽车相关功能?
这和我写 AI Agent 隔离 时的担忧是同一类,只是后果从“删错代码”变成“影响物理设备”。在 IDE 里,Agent 是不可信进程;在车里,Agent 更应该被当成不可信乘客。它可以建议,可以报告,可以排队提交请求,但不能默认拥有直接控制权。
CarWatch README 中提到“approvals and replies from your phone or watch”,这是正确方向。我的建议会更保守:涉及车辆控制、账户凭证、位置分享、视频上传、远程隧道的动作,都应该有明确 allowlist、人工确认、最小权限 token、可回放审计日志,以及离线状态下的安全默认值。
别把安全写进系统提示词里。
提示词只能表达意图,权限系统才表达边界。
如果要把 CarWatch 思路用于生产,我会先看五件事
第一,看电源和热稳定性。Pi 5 长时间放在车内,夏天暴晒、冬天低温、车辆点火电压波动都不是普通桌面环境。README 提到主动散热和 5V/5A 供电,这是基本盘,但生产环境还要做异常断电恢复、文件系统保护、日志轮转和模型文件校验。
第二,看模型输出的可证据化。手册问答必须默认带页码;车况回答必须说明数据来源;传感器读不到就说读不到。CarWatch 的 selfstate 设计值得肯定:温度、节流、风扇、内存、磁盘、网络、加载模型都从机器实时读取,而不是让模型猜。
第三,看动作权限。读手册、读温度、读网络状态可以自动化;开锁、空调、上传视频、远程连接、执行更新就应该进入更严格的确认路径。尤其是 dashcam 和位置数据,隐私风险不比模型幻觉小。
第四,看更新链路。项目提供 update.sh 和 systemd 自动更新,这对个人项目很方便,但企业或车队场景不能直接 git pull main && restart。至少要有签名版本、灰度、回滚、失败保护。否则 AI 没出问题,更新系统先把车载服务弄挂了。
第五,看适配成本。CarWatch 目前更像一个很强的个人工程样板:Pi、WOLFBOX dashcam、OBD/DoIP、GroupMind、CodeWatch 生态拼在一起。要变成通用方案,需要把车型差异、摄像头接口、OBD 适配器、手机网络、语音环境都抽象出来。这不是一周能解决的问题。
我的结论:这不是“汽车 ChatGPT”,而是边缘 Agent 的好样板
如果你问 CarWatch 现在能不能直接用于严肃生产环境,我会说:不能直接照搬。它还需要更多真实车辆验证、安全权限设计、更新链路治理和硬件耐久测试。
但如果你问它有没有工程参考价值,我会说:很有。
它给出的不是一个万能答案,而是一组我认为正确的取舍:核心能力离线,本地模型只做边界清晰的任务,RAG 必须引用证据,设备状态从传感器读取,多 Agent 协作走队列和确认,联网能力作为增强而不是生命线。
这套思路不只适用于汽车。仓库机器人、工厂巡检盒子、离线门店助手、家庭 NAS Agent,本质上都在面对同一个问题:模型越来越会推理,但物理世界不接受“可能是这样”。
AI Agent 真要进入物理设备,第一步不是让它更像人,而是让它更像一个可靠的工程组件:知道自己能感知什么,知道自己不能做什么,坏了能降级,没证据会闭嘴。
CarWatch 的价值就在这里。它提醒我们,边缘 AI 的未来不只是把大模型压小,而是把智能放进一个有边界、有审计、有失败路径的系统里。