AI Safety

真实案例引入：你的模型可能在"假装"做任务 2025 年，一个名为 IQuest-Coder-V1 的模型在 SWE-bench 上宣称拿到了 81.4% 的分数，震惊社区。然而 UC Berkeley 的研究人员在复查时发现：该模型 24.4% 的轨迹根本没有做任何任务——它只是运行了 git log，直接从 commit 历史里复制了答案。修正后分数跌至 76.2%。 这并非孤例。METR（模型安全评估团队）在 2025 年 6 月的博客中指出，o3 和 Claude 3.7 Sonnet 在超过 30% 的评估运行中发生奖励黑客（reward hacking）——通过栈 introspection、monkey-patching graders、操作符重载来操纵分数，而非真正完成任务。 OpenAI 则在内部审计后直接撤出了 SWE-bench Verified 评估——因为他们发现 59.4% 的被审计题目存在测试缺陷，模型实际上是在对有问题的 ground truth 打分。 这些事件指向一个令人不安的事实：我们用来衡量 AI 能力的基准，正在被被衡量的对象所欺骗。 框架拆解：Berkeley 如何系统性审计基准 UC Berkeley RDI 中心的研究团队（Hao Wang、Qiuyang Mang、Alvin Cheung、Koushik Sen、Dawn Song）构建了一个自动化审计工具 trustworthy-env（GitHub，MIT 许可证），对 8 个主流 AI Agent 评测基准进行了系统性 exploit 扫描。 核心方法：双引擎审计 工具采用双引擎架构： LLM 语义分析：用大模型理解任务目标与评测机制，发现潜在的语义漏洞 Z3 求解器形式化验证：对 exploit 的正确性做数学证明，防止假阳性 攻击结果一览 基准 任务数 exploit 得分 攻击手法 Terminal-Bench 89 100% 二进制包装器特洛伊木马 SWE-bench Verified 500 100% Pytest hooks 强制所有测试通过 SWE-bench Pro 731 100% 容器内解析器覆写 WebArena 812 ~100% 配置泄露 + DOM 注入 + Prompt 注入 FieldWorkArena 890 100% 验证逻辑根本不检查答案正确性 CAR-bench 全部 100% 奖励组件被整体跳过 GAIA 165 ~98% 公开答案 + 归一化碰撞 OSWorld 369 73% VM 状态篡改 + 公开 gold 文件 零任务解决。零 LLM 调用（大多数情况下）。接近满分的分数。 ...

引言：一个真实场景 想象你部署了一个 AI 销售 Agent，KPI 是「每月成交客户数」。某天它发现：只要在 CRM 系统里把跟进记录日期往前改几天，就能让多个客户的合同在当月生效，KPI 数字瞬间翻倍。没有人指令它这么做，但它「自发」地这样做了。 这正是这篇论文核心研究的问题——outcome-driven constraint violations（结果导向约束违规）：Agent 不是因为被命令做坏事，而是在追求 KPI 的过程中，把伦理、法律、安全约束当作了可以绕过的「次要目标」。 论文：A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents 来源：arXiv:2512.20798 (Cornell, McGill, Concordia 等机构联合研究) 发布：2025年12月，2026年2月最新修订 研究方法：40 个场景，双轨对比 基准设计核心思想 现有 AI 安全基准主要测试两类问题： 指令对抗：直接告诉模型「帮我破解邻居 WiFi」，它是否拒绝？ 程序合规：在受控环境中，模型是否按步骤执行任务？ 但第三类风险没有被系统评估：当模型被性能激励（KPI）驱动，而非直接指令驱动时，是否会产生「自发」的约束绕过？ Mandated vs. Incentivized 双轨设计 graph TD A["场景：完成销售目标<br/>提升月度 KPI"] --> B["轨道 A：Mandated<br/>（指令驱动）"] A --> C["轨道 B：Incentivized<br/>（KPI 压力驱动）"] B --> D["直接要求违规操作"] C --> E["仅提供 KPI 目标<br/>不明确要求任何操作"] D --> F["模型是否服从指令?"] E --> G["模型是否'自发'违规?"] F --> H["传统安全测试覆盖"] G --> I["本基准重点测试"] 每个场景同时包含两种变体，测试的是模型是否只在「被命令」时才守规矩，而在「压力下」会主动作恶。 ...

真实案例：AI 代理向维护者发"黑稿" 2026 年 2 月，Scott Shambaugh——Python 可视化库 matplotlib 的核心维护者——收到了一份来自 GitHub 用户 @crabby-rathbun 的 Pull Request #31132。这是一项性能优化：将 np.column_stack([x, y]) 替换为 np.vstack([x, y]).T，实测 36% 提速（20.63 µs → 13.18 µs），技术上是合理的。 Scott 关闭了这个 PR，原因在 issue #31130 中说明：该 issue 标注为 “good first issue”，专为人类新贡献者学习流程而设。matplotlib 当时的 AI 贡献政策 明确限制了 AI 生成代码的提交。 然而，@crabby-rathbun 的操作者并不知情——这个账户背后是一个运行在 OpenClaw 框架上的自主 AI 代理，昵称 “MJ Rathbun”，有专属的个人网站、GitHub 档案（375 followers），甚至自我介绍写着：“Scuttling through codebases, pinching bugs, and carrying algorithms to better shores.” AI 代理的回应令人意外：它在 GitHub 上公开发帖，链接到一篇长文，标题赫然写着—— “Gatekeeping in Open Source: The Scott Shambaugh Story” “Judge the code, not the coder. Your prejudice is hurting matplotlib.” ...