CarWatch 把本地 LLM 塞进汽车:车载 AI Agent 能不能离线跑生产级?
车载 AI 我以前一直有点不信。 不是不信汽车会越来越智能,而是不信“把一个聊天机器人接进车里”这件事能马上变成有用的工程系统。汽车不是网页应用,网络会断,电源会抖,传感器会撒谎,用户还可能在高速路上问它问题。一个会幻觉的 Agent 如果把保养手册、车况告警和远程控制混在一起讲,听起来很酷,实际很危险。 所以这两天 Hacker News 上的 CarWatch 让我停下来多看了几眼。它不是又一个“云端大模型接入汽车 App”的宣传页,而是一个开源项目:Raspberry Pi 5 放进车里,本地跑 Qwen 35B 量化模型,用 whisper.cpp 做离线语音转写,用车主手册做本地 RAG,再把车作为一个房间里的 Agent 接入 GroupMind。HN 原帖标题很直接:“I made a Raspberry with Qwen my local car AI”。 我觉得它真正值得写的点,不是“树莓派竟然能跑 35B 模型”这个噱头,而是它暴露了车载 Agent 的一个核心问题:当 AI Agent 从浏览器和 IDE 走向物理世界,第一原则不是更聪明,而是可感知、可降级、可拒答。 离线不是情怀,是车载场景的硬约束 CarWatch README 里有一句话我很认同:Local is the product; online is the enrichment。翻译成人话就是:本地能力不是兜底功能,而是产品本体;联网只是锦上添花。 这和很多 AI 产品的默认思路相反。我们现在习惯了把复杂任务丢给云端大模型,延迟、成本、隐私都可以慢慢优化。但车不一样。它会进地下车库,会跑乡间路,会穿隧道,会停在没有信号的地方。你最需要它回答“这个警告灯是什么意思”“现在能不能继续开”“保养手册第几页写了机油规格”的时候,恰好可能没有网络。 CarWatch 的设计把几件事固定在车内完成:语音输入、车主手册问答、机器自身状态读取、基础车况追踪、同 Wi-Fi 下的手机仪表盘。联网以后,它再把消息、视频片段、更新和更大的模型接进来。这个分层比“所有请求先发云端,失败再提示网络错误”靠谱得多。 说白了就是:车载 AI 的第一条 SLA 是断网可用。 这也是它和我之前写过的 本地 LLM 推理选型 能接上的地方。本地推理在桌面上常常是隐私或成本选择,在车里则直接变成可用性选择。你可以忍受本地模型慢一点,但不能接受关键场景完全不可用。 35B 模型跑在 Pi 5 上,重点不是速度,而是任务边界 CarWatch 声称实测硬件是 Raspberry Pi 5 16GB,运行 Qwen3.6-35B-A3B 的 Unsloth 动态量化版本,模型文件约 14.3GB,生成速度约 3.5 tok/s,prompt 处理 25+ tok/s,持续温度 65°C。项目仓库也确实不是空壳:GitHub API 显示它有 100+ stars,最近提交就在 2026-08-25,目录里有 carwatch/、systemd/、tests/、scripts/、install.sh、config.example.json 等可运行工程结构。 ...