Inference Optimization

你有没有想过，为什么人类需要睡觉？ 不是为了休息——肌肉放松不需要 8 小时。神经科学的答案是：记忆整合。白天经历的海量信息在睡眠中被大脑重新激活、压缩、筛选，重要的写入长期记忆，不重要的被丢弃。没有这个过程，新的学习会覆盖旧的记忆，认知系统逐渐崩溃。 如果把这个逻辑搬到 LLM 上呢？ Transformer 的注意力机制本质上是一个"永不睡觉"的系统——所有上下文都堆积在 KV Cache 里，每来一个新 token 就要和所有历史 token 做注意力计算。上下文越长，计算量呈二次方增长，内存占用线性膨胀。这和大脑在不睡觉时的状态惊人地相似：信息不断涌入，但没有一个"离线整合"的机制来压缩和提炼。 最近，CMU 和 Maryland 的研究团队在 Arxiv 上发了一篇论文 “Language Models Need Sleep”（2605.26099），正式把"LLM 需要睡觉"这个直觉变成了可验证的工程方案。更有趣的是，Letta 团队早在今年 4 月就提出了一个互补的思路 “Sleep-time Compute”（2504.13171），从推理优化的角度证明了"让模型在空闲时提前思考"能大幅降低推理成本。 两篇论文，两个角度，指向同一个结论：AI 系统需要一个类似"睡眠"的机制来处理信息过载。 瓶颈不在记忆容量，而在计算深度 “Language Models Need Sleep” 这篇论文的出发点很直接：现有的 SSM-Attention 混合模型（比如 Mamba-Transformer 混合架构）虽然通过固定大小的快权重（fast weights）解决了长上下文的内存问题，但记忆容量不等于推理能力。 论文作者做了一个干净的实验：他们让 SSM-Attention 混合模型做多跳图检索（multi-hop graph retrieval）和元胞自动机（cellular automata）推理，控制信息量不变，只增加推理深度。结果发现：随着推理深度增加，模型性能显著下降。 这意味着什么？当 KV Cache 被滑动窗口策略（sliding window eviction）强制截断后，被驱逐的 token 并没有"消失"——它们被压缩进了 SSM 的快权重里。但快权重只能存储信息，不能对信息做深度计算。就像你把一本书的内容全部压缩成一张图片，虽然信息都在，但你没法在图片上做逻辑推理。 这个发现比之前的研究更进了一步。以前大家认为长上下文的瓶颈是"记不住"，这篇论文证明真正的瓶颈是"算不动"。 睡眠机制：把计算从推理时转移到离线 论文的核心方案叫做 LLM Sleep——一种受神经科学启发的离线递归记忆整合机制。 工作机制很直觉： 清醒阶段（Wake Phase）：模型正常推理，注意力机制处理近期 token，KV Cache 不断增长。 睡眠阶段（Sleep Phase）：模型暂停接收新输入，对积累的上下文执行 N 次离线递归遍历（offline recurrent passes）。 整合阶段（Consolidation）：通过一个学习到的局部规则（learned local rule），将上下文中的关键信息写入 SSM 块的快权重。 清除阶段：整合完成后，清空 KV Cache，释放内存。 再次清醒：模型从"睡眠"中醒来，继续推理，但此时它拥有了一个经过深度处理的压缩记忆。 用人话说就是：模型工作一段时间后，“闭眼"把刚经历的内容反复咀嚼几遍，把重要的东西提炼成一种更紧凑的内部状态，然后把原始的"短期记忆”（KV Cache）清空。这和人类睡眠中的记忆整合过程惊人地相似。 ...

真实案例引入 2025 年后，扩散语言模型（Diffusion Language Model，DLM）成为了 LLM 架构探索的热门方向。与自回归（Autoregressive，AR）模型逐步生成 token 不同，DLM 通过逐步去噪的方式并行生成整个序列，理论上能带来更高的硬件利用率和推理吞吐量。然而在实践中，开发者们很快发现了一个根本性问题：扩散模型的生成质量总是落后于同规模的自回归模型。 这一问题在真实部署场景中尤为突出。以 SGLang 团队在 2024 年的基准测试为例，SDAR-8B 在 LiveCodeBench 上的通过率仅为 16.6%，而 Qwen3-8B（AR 模型）则达到了 50.3%——差距超过 3 倍。即便在数学推理（MATH-500）上，SDAR 的 78.6% 也明显低于 AR 的 95.8%。质量差距使得企业在生产环境中选择扩散模型时顾虑重重。 I-DLM（Introspective Diffusion Language Models）的研究者将这个质量 gap 归因于一个被忽视的问题：自省一致性（Introspective Consistency）。AR 模型天生具备这一特性——模型会认可自己的生成结果（自省接受率约 0.98），而标准扩散模型的这个指标仅为 0.57-0.70。这种"自我怀疑"导致扩散模型难以在复杂推理任务上稳定发挥。 框架核心拆解 自省一致性：问题的根源 I-DLM 论文将自省接受率定义为：模型在位置 i 生成的 token，在后续去噪步骤中仍然被模型认可的概率。AR 模型由于其因果注意力机制和逐 token 生成的特性，天生具备高自省一致性——模型"相信"自己逐步生成的内容。 扩散模型的问题在于双向注意力和多 token 并行生成：模型在某个位置生成了一个 token，但后续步骤中可能因为看到更多上下文而"反悔"，导致生成结果不一致。这种不一致性在长推理链（如数学证明、代码生成）中被放大，最终表现为质量落后。 Introspective Strided Decoding（ISD） I-DLM 提出了 ISD 算法，在单次前向传播中同时完成生成和验证两个操作： # ISD 核心逻辑伪代码 # 每次前向传播: # 1. 从 MASK 位置生成 N 个新 token（proposal 分布 q） # 2. 验证之前生成的位置（anchor 分布 p） # 3. 通过 min(1, p(x)/q(x)) 决定接受/拒绝 # p/q 接受准则数学保证输出符合基础 AR 分布 关键在于 p/q 接受准则：通过比较 proposal 分布和 anchor 分布的概率比值，ISD 能够数学上保证最终输出与目标 AR 分布一致。这解决了扩散模型"自我不一致"的核心问题。 ...