如果你现在还把 LLM 成本优化理解成“哪家模型便宜就切哪家”,我建议先停一下。
HN 这两天有一篇文章被顶上来,Vectoral 写的 Who Are the Token Brokers? 讲了一个有点灰色、但很现实的市场:有人从拿到大量云厂商或模型厂商 credit 的创业公司手里买未使用额度,再把这些额度包装成便宜的推理能力卖出去。HN 原帖 The AI Credit Resale Economy 的讨论也很热,核心争议不是“便宜 token 能不能用”,而是这类 off-market inference 到底会把什么风险转嫁给最终调用方。
坦白说,这个话题比“Stripe 要不要买 OpenRouter”更值得工程团队关心。收购新闻会过去,但模型调用链越来越长这件事不会消失。
过去我们接 API,路径很短:业务服务 → OpenAI / Anthropic / Gemini。现在为了成本、可用性、限流和模型多样性,很多团队会在中间加一层 OpenRouter、LiteLLM、Helicone、Portkey,或者自己写一个 LLM Gateway。再往后看,这层网关下面还可能有二级代理、区域 fallback、第三方算力、BYOK、企业私有端点。
听起来很工程化,对吧?
问题是,调用链越长,信任边界越模糊。你以为自己在调用“某个模型”,实际上是在调用“一套会根据价格、延迟、吞吐、可用性和策略动态选择 provider 的路由系统”。这不是坏事,但它意味着成本优化不再只是 FinOps 问题,而是供应链治理问题。
便宜 token 背后的第一层风险:来源不可解释
Vectoral 那篇文章里最有意思的细节,不是有人倒卖 credit,而是作者提到一些卖家并不直接交出 provider key,而是以 proxy 形式转发请求。用人话说就是:你把 prompt 发给一个“便宜入口”,它再从一池 key 或账号里挑一个能用的额度去请求上游模型。
这类模式在短期内很有诱惑力。创业公司烧钱做 demo,个人开发者跑 benchmark,或者某个内部工具只想省点 token 费用,看到 30% 甚至 50% 折扣很难不心动。
但生产环境不能这么算账。
因为你很难回答几个基本问题:
- 这些 credit 的合同条款允许转售吗?
- 上游 provider 是否知道自己在服务最终用户?
- 请求和响应会不会被中间层记录?记录多久?
- 如果上游封号、限流或追溯滥用,谁来承担中断?
- 你的客户数据是否被发到了合规范围之外的区域或主体?
这不是杞人忧天。LLM prompt 里经常混着用户隐私、业务数据、代码片段、内部文档、工单记录和检索结果。便宜的推理价格如果换来不可审计的数据路径,账面上省下来的 token 成本,可能只是把风险延后记账。
说白了就是:越便宜、越不透明的模型入口,越应该默认不适合生产敏感流量。
OpenRouter 这类正规路由层,也不是“无脑省钱按钮”
这里要区分两件事。我不是说 OpenRouter 或 LLM Gateway 都有问题。恰恰相反,正规路由层是多模型生产系统很重要的基础设施。
OpenRouter 的 Provider Routing 文档 写得很清楚:它允许通过 provider 对象控制请求路由,例如指定 provider 顺序、是否允许 fallback、是否要求参数支持、按价格/吞吐/延迟排序,也可以用 data_collection: "deny" 控制不要使用可能存储数据的 provider,并通过 zdr 限制 Zero Data Retention 端点。
这些能力非常实用。比如你可以让普通摘要任务优先走低价 provider,让重要客户请求禁用 fallback,只允许某几个经过审计的上游;你也可以在工具调用场景启用 require_parameters,避免路由到不支持某些参数的 provider 后出现 silent failure。
但这恰好说明,网关不是“接上就完事”的 SDK。它是一层策略系统。
如果团队只写:
{
"model": "anthropic/claude-sonnet-4",
"messages": [...]
}
然后默认让路由层替你选择 provider,那你获得的是可用性和价格弹性,同时也把一部分供应商决策交给了平台默认策略。默认策略未必错,但它未必符合你的合规要求、客户承诺和故障预案。
我更推荐把 LLM Gateway 当成“模型调用的 Kubernetes Ingress”来看。Ingress 不是为了让请求随便进来,它是为了把路由、TLS、限流、观测和策略显式化。LLM Gateway 也一样:它应该让 provider 选择可配置、可审计、可回放,而不是把复杂性藏起来。
这一点和我之前写 GoModel AI Gateway 时的判断是一致的:多供应商抽象的价值不只是少写几套 SDK,而是把重试、计费、缓存、审计和策略收敛到一个可治理的位置。只是现在要再加一条:provider 来源也必须被治理。
LiteLLM 的工程启发:路由要有状态,不只是随机切换
另一个可以参考的信源是 LiteLLM Router 文档。LiteLLM 在生产场景里支持用 Redis 跟踪 cooldown、RPM/TPM 限制和用量,再基于请求速率或 token 速率做负载均衡。文档里还提到失败时可以在不同 region 或 provider deployment 之间重试。
这听起来像普通网关功能,但对 LLM 特别关键。
传统 HTTP 服务的 fallback 往往只关心“请求能不能成功”。LLM fallback 还要关心“成功的是不是同一类语义能力”。一个 provider 不支持 tool calling,另一个 provider 支持但参数格式不同;一个模型默认会保留日志,另一个是 ZDR;一个模型便宜但输出风格变化大。你不能只看 HTTP 200。
人话翻译:LLM 路由不是把请求扔给“活着的机器”,而是在一组能力、价格、隐私、延迟和可靠性之间做选择。
所以我会建议生产系统至少维护四张表。
第一张是 Provider Allowlist。哪些 provider 可以承接哪些环境的流量:dev、staging、production、regulated production。不要让所有模型默认都能接所有请求。
第二张是 Capability Matrix。每个 provider 是否支持工具调用、JSON schema、长上下文、embedding、streaming、vision、batch、ZDR。这个矩阵要参与路由,而不是写在某个 wiki 里等事故后再翻。
第三张是 Data Policy Matrix。哪些请求包含用户 PII、企业文档、代码、密钥片段、医疗/金融数据;这些请求可以发给谁,是否允许 fallback,是否允许日志留存。
第四张是 Cost / Reliability Policy。普通流量可以按价格排序;高价值客户请求优先稳定 provider;批处理任务可以低价排队;线上交互请求要看 P95 延迟和错误率。
有了这四张表,你才是在做 LLM Gateway。没有这些,只是在做模型 API 转发器。
off-market 推理真正冲击的是企业采购逻辑
很多企业采购 AI 服务时,还停留在“我们买了某某模型 API,所以风险由某某公司负责”的阶段。但 LLM 路由层把这个关系拆开了:你买的可能是一个聚合入口,入口再调用多个上游 provider,上游 provider 可能又运行在不同云、不同地区、不同数据政策下。
这会带来一个反直觉的变化:模型名称越来越不等于供应商边界。
以前你看到 gpt-4o 或 claude,大概能猜到数据去了哪里。现在你看到一个 OpenAI-compatible endpoint,背后可能是官方 API、云厂商托管、第三方部署、私有模型、BYOK,甚至某种转售额度代理。它们对延迟、价格和合规的影响完全不同。
如果只是个人项目,我不会太紧张。拿便宜 token 做原型、跑非敏感 benchmark、测试 prompt,问题不大。但一旦进入企业生产环境,我会把 provider provenance 写进架构评审。
具体可以这样落地:
- 敏感数据请求默认禁用未知 provider 和 off-market proxy;
- 对所有模型调用记录
model、provider、region、route_policy、fallback_reason; - fallback 不能跨越数据政策边界,例如 ZDR 请求不能 fallback 到会存储数据的 provider;
- 成本优化策略必须可解释,不能只有“平台自动选择最优”;
- 对长上下文 RAG 请求单独分类,因为它们泄露的信息量远大于普通聊天;
- 定期抽样比对不同 provider 的输出质量和工具调用兼容性。
这里也可以参考我之前写 K2 Vendor Verifier 时提到的问题:同一个模型名在不同供应商上的精度、工具调用和响应行为可能并不完全一致。模型路由层越强,越需要验证层跟上。
我的结论:先把“便宜”从默认目标里降级
AI Credit 转售经济会继续存在。只要大厂给 startup 发 credit、模型推理价格差异巨大、创业公司现金流紧张,就会有人把闲置额度变成二级市场。它未必全是骗局,也未必全是坏事;市场会自己寻找价格洼地。
但工程团队不能把二级市场逻辑直接搬进生产系统。
我的建议很简单:
- 开发和实验环境可以追求低价,生产环境先追求可解释。
- LLM Gateway 的核心指标不应只有 cost per 1M tokens,还要有 provider provenance、data retention、fallback boundary 和 auditability。
- 如果一个路由平台不能告诉你请求最终去了哪个 provider、为什么去、是否 fallback、是否会留存数据,那它不适合承接敏感流量。
- 便宜 provider 可以用,但要被放进策略系统,而不是绕过策略系统。
最后说句可能不中听的话:很多团队现在的 LLM 成本优化,有点像早期云计算时代为了省钱买来路不明的服务器代理。短期看账单很好看,长期看安全、合规和稳定性全靠运气。
LLM 网关当然值得做,OpenRouter、LiteLLM、自建 Gateway 都有工程价值。但真正成熟的做法,不是把模型调用变成价格拍卖,而是把每一次路由都变成可解释的工程决策。
便宜 token 是红利,也可能是风险信号。关键在于你有没有能力分辨。