CarWatch 把本地 LLM 塞进汽车:车载 AI Agent 能不能离线跑生产级?

车载 AI 我以前一直有点不信。 不是不信汽车会越来越智能,而是不信“把一个聊天机器人接进车里”这件事能马上变成有用的工程系统。汽车不是网页应用,网络会断,电源会抖,传感器会撒谎,用户还可能在高速路上问它问题。一个会幻觉的 Agent 如果把保养手册、车况告警和远程控制混在一起讲,听起来很酷,实际很危险。 所以这两天 Hacker News 上的 CarWatch 让我停下来多看了几眼。它不是又一个“云端大模型接入汽车 App”的宣传页,而是一个开源项目:Raspberry Pi 5 放进车里,本地跑 Qwen 35B 量化模型,用 whisper.cpp 做离线语音转写,用车主手册做本地 RAG,再把车作为一个房间里的 Agent 接入 GroupMind。HN 原帖标题很直接:“I made a Raspberry with Qwen my local car AI”。 我觉得它真正值得写的点,不是“树莓派竟然能跑 35B 模型”这个噱头,而是它暴露了车载 Agent 的一个核心问题:当 AI Agent 从浏览器和 IDE 走向物理世界,第一原则不是更聪明,而是可感知、可降级、可拒答。 离线不是情怀,是车载场景的硬约束 CarWatch README 里有一句话我很认同:Local is the product; online is the enrichment。翻译成人话就是:本地能力不是兜底功能,而是产品本体;联网只是锦上添花。 这和很多 AI 产品的默认思路相反。我们现在习惯了把复杂任务丢给云端大模型,延迟、成本、隐私都可以慢慢优化。但车不一样。它会进地下车库,会跑乡间路,会穿隧道,会停在没有信号的地方。你最需要它回答“这个警告灯是什么意思”“现在能不能继续开”“保养手册第几页写了机油规格”的时候,恰好可能没有网络。 CarWatch 的设计把几件事固定在车内完成:语音输入、车主手册问答、机器自身状态读取、基础车况追踪、同 Wi-Fi 下的手机仪表盘。联网以后,它再把消息、视频片段、更新和更大的模型接进来。这个分层比“所有请求先发云端,失败再提示网络错误”靠谱得多。 说白了就是:车载 AI 的第一条 SLA 是断网可用。 这也是它和我之前写过的 本地 LLM 推理选型 能接上的地方。本地推理在桌面上常常是隐私或成本选择,在车里则直接变成可用性选择。你可以忍受本地模型慢一点,但不能接受关键场景完全不可用。 35B 模型跑在 Pi 5 上,重点不是速度,而是任务边界 CarWatch 声称实测硬件是 Raspberry Pi 5 16GB,运行 Qwen3.6-35B-A3B 的 Unsloth 动态量化版本,模型文件约 14.3GB,生成速度约 3.5 tok/s,prompt 处理 25+ tok/s,持续温度 65°C。项目仓库也确实不是空壳:GitHub API 显示它有 100+ stars,最近提交就在 2026-08-25,目录里有 carwatch/、systemd/、tests/、scripts/、install.sh、config.example.json 等可运行工程结构。 ...

August 26, 2026 · 2 min · Hypho

transcribe.cpp 能替代 whisper.cpp 吗?跨平台本地语音转写的生产选型

如果你做过本地语音转写产品,大概率会有一个很烦人的时刻:Demo 里 Whisper 跑得很好,一到生产分发,问题全来了。 模型文件怎么下发?Windows、macOS、Linux 各用什么推理后端?Apple 设备要不要单独走 MLX 或 CoreML?GPU 加速怎么覆盖 Vulkan、Metal、CUDA?更要命的是,某个从 Hugging Face 下载的 ONNX 转换版到底有没有和原始模型对齐,没人敢拍胸脯。 所以我看到 transcribe.cpp 在 HN 上拿到 700 多分时,第一反应不是“又一个 whisper.cpp 替代品”,而是:它戳中了本地 ASR 工程里最脏、最不性感、但最真实的一层——分发和验证。 项目作者的说法很直接:transcribe.cpp 是一个基于 ggml 的 transcription library,目标是支持最新的语音转写模型;由 handy-computer Hugging Face 组织发布的模型都做了 numerical validation 和 WER 测试,尽量匹配参考实现。对应的 GitHub 仓库 目前已经超过 900 stars,创建于 2026 年 4 月,最近仍在高频提交;HN 原帖也能看出开发者对“本地 ASR 分发栈太难用”的共鸣:Transcribe.cpp | Hacker News。 这篇我不想把它写成“谁比谁快 20%”的跑分文。更值得问的是:如果你现在用 whisper.cpp、ONNX Runtime 或平台 API 做语音转写,transcribe.cpp 到底解决了哪个工程问题?它能不能直接替代 whisper.cpp?又有哪些地方还不能信得太早? 本地 ASR 的难点从来不只是“跑一个模型” 过去两年,本地语音转写基本有三条路。 第一条是 whisper.cpp。它的优势是生态成熟、C/C++ 依赖轻、量化和本地推理路径清晰。缺点也明显:它天然围绕 Whisper 系列展开,虽然工程上非常可靠,但当你想尝试 Parakeet、Canary、SenseVoice、Distil-Whisper 或别的新 ASR 模型时,路线就没那么顺了。 ...

July 20, 2026 · 2 min · Hypho

Apple SpeechAnalyzer 能替代 Whisper 吗?本地语音转写的工程取舍

如果你正在做会议纪要、离线字幕、客服录音整理,或者任何“不能把音频随便传到云端”的产品,有一个问题迟早会出现:本地语音转写到底该押注系统 API,还是自己带一个 Whisper? 我以前的直觉是,系统 API 胜在省事,但准确率和可控性通常不如开源模型;Whisper 胜在跨平台、可复现、生态成熟,只是体积和推理成本更麻烦。这个判断在 2026 年可能要改一半。 原因是 Inscribe 在 Hacker News 上发了一组很有意思的测试:Apple’s New Speech API vs Whisper: The First Real Benchmark。他们把 Apple 新的 SpeechAnalyzer、旧的 SFSpeechRecognizer,以及 Whisper Tiny/Base/Small 放在同一台 Apple M2 Pro 上,用 LibriSpeech 的 test-clean 和 test-other 一共 5,559 条 utterance 做了对比,还公开了 summary.json 和部分原始转写文件。HN 也记录了这个帖子的热度和发布时间:Algolia HN item。 结果挺反直觉:SpeechAnalyzer 在这组测试里不是“小幅追上”,而是明显超过了 Whisper Small。test-clean 的 WER 是 2.12%,Whisper Small 是 3.74%;test-other 的 WER 是 4.56%,Whisper Small 是 7.95%。旧的 SFSpeechRecognizer 则分别是 9.02% 和 16.25%。 ...

July 15, 2026 · 2 min · Hypho