Open Weights

我不太建议把 Kimi K3 简单理解成“又一个开源大模型”。 真正有意思的地方不是 2.8T 这个数字有多吓人，而是 Moonshot AI 把一套越来越接近生产级 frontier 模型的效率设计摊开了：Kimi Delta Attention、Gated MLA、Attention Residuals、LatentMoE、MXFP4 权重量化、MXFP8 激活量化、1M token 上下文、原生多模态。单独看每个词都像论文标题，合在一起才是重点——大模型下一阶段的竞争，越来越像系统工程，而不是单纯堆参数。 这也是 Hacker News 上 Kimi K3 Architecture Overview and Notes 这条讨论值得看的原因。原帖链接到 Sebastian Raschka 的 Kimi K3 Architecture Notes，他把 K3 的架构画成了一张很直观的图：这不是传统 Transformer 放大版，而是一堆围绕“让超大模型能被训练和推理”的组件组合。 说白了，Kimi K3 的核心问题不是“2.8T 参数模型有没有意义”，而是：一个 3T 级别开源权重模型，能不能用架构和数值格式把推理成本压到工程上还能讨论的范围内？ 2.8T 总参数，104B 激活参数：MoE 的账要这么算 先看官方仓库。Moonshot AI 的 Kimi-K3 README 写得很明确：Kimi K3 是 open-weight、native multimodal、agentic model，总参数 2.8T，激活参数 104B，93 层，896 个专家，每个 token 选择 16 个专家，支持 1,048,576 token 上下文。GitHub 仓库不是空壳，截至本次写作 API 返回约 3.4k stars，最近 push 在 2026-07-28，并公开了 README、LICENSE 和完整技术报告 PDF。 ...

如果你关注开源大模型的格局变化，这两天应该已经看到消息了：智谱 AI（Z.ai）的 GLM-5.2 在 Artificial Analysis Intelligence Index v4.1 上拿到 51 分，成为当前得分最高的开源权重模型。875 分的 HN 热度也说明社区对此的关注度不低。 但"登顶基准榜"这件事本身并不稀缺——每隔几周就有新模型刷一波排名。真正值得拆解的问题是：GLM-5.2 做对了什么，让它在 Agent 场景下同时跑赢了 DeepSeek V4 Pro 和 MiniMax-M3？ 先看基本面 GLM-5.2 是一个 753B 总参数的 MoE（混合专家）模型，每次推理激活约 40B 参数。和它的前身 GLM-5.1 参数规模完全相同，但在 Intelligence Index 上高出 11 分。架构代号叫 glm_moe_dsa——DSA 即 DeepSeek Sparse Attention，一种轻量级的稀疏注意力方案。 许可证是 MIT，没有地区限制，没有技术访问门槛。这一点在当前中美 AI 竞争的语境下值得单独提一句：很多"开源"模型在许可证或访问上藏着条件，GLM-5.2 没有。 在 HuggingFace 上，zai-org/GLM-5.2 和 zai-org/GLM-5.2-FP8 都可下载。FP8 版本已经累计近 2.5 万次下载，社区里的 GGUF 量化版本也在快速跟进——这说明实际有人在跑这个模型，不只是看个热闹。 IndexShare：GLM-5.2 的真正技术突破 如果你只看 benchmark 数字，会觉得 GLM-5.2 只是"分数更高了"。但仔细看技术细节，它的核心创新在于 IndexShare（arxiv:2603.12201）。 问题出在长上下文场景。DSA 的思路是用一个轻量级 indexer 为每个 query 选择 top-k 最相关的 token，把核心注意力的复杂度从 O(L²) 降到 O(Lk)。但 indexer 本身仍然是 O(L²) 的——上下文越长，indexer 的计算开销越大，成为瓶颈。 ...