<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>LLM Gateway on Hypho - AI Agent 技术博客</title><link>https://blog.hypho.cn/tags/llm-gateway/</link><description>Recent content in LLM Gateway on Hypho - AI Agent 技术博客</description><image><title>Hypho - AI Agent 技术博客</title><url>https://blog.hypho.cn/papermod-cover.png</url><link>https://blog.hypho.cn/papermod-cover.png</link></image><generator>Hugo -- 0.148.2</generator><language>zh-cn</language><lastBuildDate>Mon, 17 Aug 2026 10:01:42 +0800</lastBuildDate><atom:link href="https://blog.hypho.cn/tags/llm-gateway/index.xml" rel="self" type="application/rss+xml"/><item><title>AI Credit 转售经济：LLM 网关省钱之前，先把供应商风险管住</title><link>https://blog.hypho.cn/posts/ai-credit-resale-llm-provider-routing-risk/</link><pubDate>Mon, 17 Aug 2026 10:01:42 +0800</pubDate><guid>https://blog.hypho.cn/posts/ai-credit-resale-llm-provider-routing-risk/</guid><description>HN 热议的 AI Credit 转售经济暴露了一个被低估的问题：企业接入 OpenRouter、LiteLLM 或自建 LLM 网关时，不能只看模型价格和可用性，还要把供应商来源、数据留存、fallback 路径、Zero Data Retention 和审计能力纳入工程治理。本文给出面向生产环境的路由策略与选型建议。</description><content:encoded><![CDATA[<p>如果你现在还把 LLM 成本优化理解成“哪家模型便宜就切哪家”，我建议先停一下。</p>
<p>HN 这两天有一篇文章被顶上来，Vectoral 写的 <a href="https://vectoral.com/blog/who-are-the-token-brokers">Who Are the Token Brokers?</a> 讲了一个有点灰色、但很现实的市场：有人从拿到大量云厂商或模型厂商 credit 的创业公司手里买未使用额度，再把这些额度包装成便宜的推理能力卖出去。HN 原帖 <a href="https://news.ycombinator.com/item?id=49320611">The AI Credit Resale Economy</a> 的讨论也很热，核心争议不是“便宜 token 能不能用”，而是这类 off-market inference 到底会把什么风险转嫁给最终调用方。</p>
<p>坦白说，这个话题比“Stripe 要不要买 OpenRouter”更值得工程团队关心。收购新闻会过去，但模型调用链越来越长这件事不会消失。</p>
<p>过去我们接 API，路径很短：业务服务 → OpenAI / Anthropic / Gemini。现在为了成本、可用性、限流和模型多样性，很多团队会在中间加一层 OpenRouter、LiteLLM、Helicone、Portkey，或者自己写一个 LLM Gateway。再往后看，这层网关下面还可能有二级代理、区域 fallback、第三方算力、BYOK、企业私有端点。</p>
<p>听起来很工程化，对吧？</p>
<p>问题是，调用链越长，信任边界越模糊。你以为自己在调用“某个模型”，实际上是在调用“一套会根据价格、延迟、吞吐、可用性和策略动态选择 provider 的路由系统”。这不是坏事，但它意味着成本优化不再只是 FinOps 问题，而是供应链治理问题。</p>
<h2 id="便宜-token-背后的第一层风险来源不可解释">便宜 token 背后的第一层风险：来源不可解释</h2>
<p>Vectoral 那篇文章里最有意思的细节，不是有人倒卖 credit，而是作者提到一些卖家并不直接交出 provider key，而是以 proxy 形式转发请求。用人话说就是：你把 prompt 发给一个“便宜入口”，它再从一池 key 或账号里挑一个能用的额度去请求上游模型。</p>
<p>这类模式在短期内很有诱惑力。创业公司烧钱做 demo，个人开发者跑 benchmark，或者某个内部工具只想省点 token 费用，看到 30% 甚至 50% 折扣很难不心动。</p>
<p>但生产环境不能这么算账。</p>
<p>因为你很难回答几个基本问题：</p>
<ul>
<li>这些 credit 的合同条款允许转售吗？</li>
<li>上游 provider 是否知道自己在服务最终用户？</li>
<li>请求和响应会不会被中间层记录？记录多久？</li>
<li>如果上游封号、限流或追溯滥用，谁来承担中断？</li>
<li>你的客户数据是否被发到了合规范围之外的区域或主体？</li>
</ul>
<p>这不是杞人忧天。LLM prompt 里经常混着用户隐私、业务数据、代码片段、内部文档、工单记录和检索结果。便宜的推理价格如果换来不可审计的数据路径，账面上省下来的 token 成本，可能只是把风险延后记账。</p>
<p>说白了就是：<strong>越便宜、越不透明的模型入口，越应该默认不适合生产敏感流量。</strong></p>
<h2 id="openrouter-这类正规路由层也不是无脑省钱按钮">OpenRouter 这类正规路由层，也不是“无脑省钱按钮”</h2>
<p>这里要区分两件事。我不是说 OpenRouter 或 LLM Gateway 都有问题。恰恰相反，正规路由层是多模型生产系统很重要的基础设施。</p>
<p>OpenRouter 的 <a href="https://openrouter.ai/docs/features/provider-routing.md">Provider Routing 文档</a> 写得很清楚：它允许通过 <code>provider</code> 对象控制请求路由，例如指定 provider 顺序、是否允许 fallback、是否要求参数支持、按价格/吞吐/延迟排序，也可以用 <code>data_collection: &quot;deny&quot;</code> 控制不要使用可能存储数据的 provider，并通过 <code>zdr</code> 限制 Zero Data Retention 端点。</p>
<p>这些能力非常实用。比如你可以让普通摘要任务优先走低价 provider，让重要客户请求禁用 fallback，只允许某几个经过审计的上游；你也可以在工具调用场景启用 <code>require_parameters</code>，避免路由到不支持某些参数的 provider 后出现 silent failure。</p>
<p>但这恰好说明，网关不是“接上就完事”的 SDK。它是一层策略系统。</p>
<p>如果团队只写：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="p">{</span>
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;model&#34;</span><span class="p">:</span> <span class="s2">&#34;anthropic/claude-sonnet-4&#34;</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">  <span class="nt">&#34;messages&#34;</span><span class="p">:</span> <span class="p">[</span><span class="err">...</span><span class="p">]</span>
</span></span><span class="line"><span class="cl"><span class="p">}</span>
</span></span></code></pre></div><p>然后默认让路由层替你选择 provider，那你获得的是可用性和价格弹性，同时也把一部分供应商决策交给了平台默认策略。默认策略未必错，但它未必符合你的合规要求、客户承诺和故障预案。</p>
<p>我更推荐把 LLM Gateway 当成“模型调用的 Kubernetes Ingress”来看。Ingress 不是为了让请求随便进来，它是为了把路由、TLS、限流、观测和策略显式化。LLM Gateway 也一样：它应该让 provider 选择可配置、可审计、可回放，而不是把复杂性藏起来。</p>
<p>这一点和我之前写 <a href="https://blog.hypho.cn/posts/gomodel-ai-gateway-go/">GoModel AI Gateway</a> 时的判断是一致的：多供应商抽象的价值不只是少写几套 SDK，而是把重试、计费、缓存、审计和策略收敛到一个可治理的位置。只是现在要再加一条：provider 来源也必须被治理。</p>
<h2 id="litellm-的工程启发路由要有状态不只是随机切换">LiteLLM 的工程启发：路由要有状态，不只是随机切换</h2>
<p>另一个可以参考的信源是 <a href="https://docs.litellm.ai/docs/routing">LiteLLM Router 文档</a>。LiteLLM 在生产场景里支持用 Redis 跟踪 cooldown、RPM/TPM 限制和用量，再基于请求速率或 token 速率做负载均衡。文档里还提到失败时可以在不同 region 或 provider deployment 之间重试。</p>
<p>这听起来像普通网关功能，但对 LLM 特别关键。</p>
<p>传统 HTTP 服务的 fallback 往往只关心“请求能不能成功”。LLM fallback 还要关心“成功的是不是同一类语义能力”。一个 provider 不支持 tool calling，另一个 provider 支持但参数格式不同；一个模型默认会保留日志，另一个是 ZDR；一个模型便宜但输出风格变化大。你不能只看 HTTP 200。</p>
<p>人话翻译：LLM 路由不是把请求扔给“活着的机器”，而是在一组能力、价格、隐私、延迟和可靠性之间做选择。</p>
<p>所以我会建议生产系统至少维护四张表。</p>
<p>第一张是 <strong>Provider Allowlist</strong>。哪些 provider 可以承接哪些环境的流量：dev、staging、production、regulated production。不要让所有模型默认都能接所有请求。</p>
<p>第二张是 <strong>Capability Matrix</strong>。每个 provider 是否支持工具调用、JSON schema、长上下文、embedding、streaming、vision、batch、ZDR。这个矩阵要参与路由，而不是写在某个 wiki 里等事故后再翻。</p>
<p>第三张是 <strong>Data Policy Matrix</strong>。哪些请求包含用户 PII、企业文档、代码、密钥片段、医疗/金融数据；这些请求可以发给谁，是否允许 fallback，是否允许日志留存。</p>
<p>第四张是 <strong>Cost / Reliability Policy</strong>。普通流量可以按价格排序；高价值客户请求优先稳定 provider；批处理任务可以低价排队；线上交互请求要看 P95 延迟和错误率。</p>
<p>有了这四张表，你才是在做 LLM Gateway。没有这些，只是在做模型 API 转发器。</p>
<h2 id="off-market-推理真正冲击的是企业采购逻辑">off-market 推理真正冲击的是企业采购逻辑</h2>
<p>很多企业采购 AI 服务时，还停留在“我们买了某某模型 API，所以风险由某某公司负责”的阶段。但 LLM 路由层把这个关系拆开了：你买的可能是一个聚合入口，入口再调用多个上游 provider，上游 provider 可能又运行在不同云、不同地区、不同数据政策下。</p>
<p>这会带来一个反直觉的变化：模型名称越来越不等于供应商边界。</p>
<p>以前你看到 <code>gpt-4o</code> 或 <code>claude</code>，大概能猜到数据去了哪里。现在你看到一个 OpenAI-compatible endpoint，背后可能是官方 API、云厂商托管、第三方部署、私有模型、BYOK，甚至某种转售额度代理。它们对延迟、价格和合规的影响完全不同。</p>
<p>如果只是个人项目，我不会太紧张。拿便宜 token 做原型、跑非敏感 benchmark、测试 prompt，问题不大。但一旦进入企业生产环境，我会把 provider provenance 写进架构评审。</p>
<p>具体可以这样落地：</p>
<ul>
<li>敏感数据请求默认禁用未知 provider 和 off-market proxy；</li>
<li>对所有模型调用记录 <code>model</code>、<code>provider</code>、<code>region</code>、<code>route_policy</code>、<code>fallback_reason</code>；</li>
<li>fallback 不能跨越数据政策边界，例如 ZDR 请求不能 fallback 到会存储数据的 provider；</li>
<li>成本优化策略必须可解释，不能只有“平台自动选择最优”；</li>
<li>对长上下文 RAG 请求单独分类，因为它们泄露的信息量远大于普通聊天；</li>
<li>定期抽样比对不同 provider 的输出质量和工具调用兼容性。</li>
</ul>
<p>这里也可以参考我之前写 <a href="https://blog.hypho.cn/posts/k2-vendor-verifier-api-precision/">K2 Vendor Verifier</a> 时提到的问题：同一个模型名在不同供应商上的精度、工具调用和响应行为可能并不完全一致。模型路由层越强，越需要验证层跟上。</p>
<h2 id="我的结论先把便宜从默认目标里降级">我的结论：先把“便宜”从默认目标里降级</h2>
<p>AI Credit 转售经济会继续存在。只要大厂给 startup 发 credit、模型推理价格差异巨大、创业公司现金流紧张，就会有人把闲置额度变成二级市场。它未必全是骗局，也未必全是坏事；市场会自己寻找价格洼地。</p>
<p>但工程团队不能把二级市场逻辑直接搬进生产系统。</p>
<p>我的建议很简单：</p>
<ol>
<li><strong>开发和实验环境可以追求低价，生产环境先追求可解释。</strong></li>
<li><strong>LLM Gateway 的核心指标不应只有 cost per 1M tokens，还要有 provider provenance、data retention、fallback boundary 和 auditability。</strong></li>
<li><strong>如果一个路由平台不能告诉你请求最终去了哪个 provider、为什么去、是否 fallback、是否会留存数据，那它不适合承接敏感流量。</strong></li>
<li><strong>便宜 provider 可以用，但要被放进策略系统，而不是绕过策略系统。</strong></li>
</ol>
<p>最后说句可能不中听的话：很多团队现在的 LLM 成本优化，有点像早期云计算时代为了省钱买来路不明的服务器代理。短期看账单很好看，长期看安全、合规和稳定性全靠运气。</p>
<p>LLM 网关当然值得做，OpenRouter、LiteLLM、自建 Gateway 都有工程价值。但真正成熟的做法，不是把模型调用变成价格拍卖，而是把每一次路由都变成可解释的工程决策。</p>
<p>便宜 token 是红利，也可能是风险信号。关键在于你有没有能力分辨。</p>
]]></content:encoded></item></channel></rss>