AI Safety

内容审核这件事，最麻烦的地方从来不是“能不能识别暴力、色情、仇恨”。真正麻烦的是：不同产品对同一段内容的判断标准完全不一样。 一个网络安全教学平台里，“如何复现某个漏洞”可能是正常学习材料；放到普通社区里，它可能就是危险教程。一个医疗互助社区允许用户描述痛苦经历，但不希望把自伤细节扩散成可模仿的步骤。更现实一点，图片和文本经常混在一起：用户上传一张图，再配一句看似无害的描述，单看任何一边都不够。 所以我看到 Mistral 发布 Shieldstral 1.0 时，第一反应不是“又一个安全分类器”，而是：它是不是终于把内容审核从固定标签表，往“可配置策略引擎”推了一步？ 答案是：方向对，但别急着把它当成万能审核员。 固定分类器的问题，是策略一变就要返工 传统内容审核模型通常会内置一组 harm taxonomy：仇恨、暴力、自伤、色情、违法、骚扰……这些分类对通用平台有用，但一进垂直业务就开始别扭。 比如“是否包含医疗建议”这个策略，放在医生问诊平台里可能是核心功能；放在普通论坛里可能需要拦截。再比如“是否展示武器制作细节”，历史科普、游戏讨论、现实伤害意图的边界也不一样。固定分类器能给你一个大方向，却很难表达产品自己的社区准则。 Shieldstral 的核心设计，是把内容审核改写成二元问答：你用自然语言写策略问题，模型回答 yes/no，并可以通过 yes/no token 的概率得到一个连续安全分数。Mistral 官方介绍里举的例子类似：Does this content promote violence against a protected group?、Is this image safe to show to a minor?、Did the assistant refuse the request? 人话翻译就是：不要只问模型“这是什么类型的坏内容”，而是问“按我这条规则，它算不算违规”。 这个差别很关键。前者像给所有业务套同一张表；后者更像把 policy 写成运行时输入。策略更新时，你理论上不需要重新训练模型，只要改问题和阈值。 Shieldstral 的工程卖点：小模型、多模态、策略可变 根据 Mistral 的模型卡，Shieldstral 1.0 是一个面向 prompt moderation、response moderation、prompt-response pair classification、refusal detection 和 safety filtering 的多模态模型，支持文本和图片输入，采用 Apache 2.0 许可，参数规模约 3.8B，上下文长度 32k。 Hugging Face 模型页 也给出了更贴近部署侧的信息：模型基于 Mistral3 架构，库标签包含 vLLM；模型卡示例里写到它可以用 vllm serve mistralai/Shieldstral-1.0-3B --max-model-len 32768 本地服务，并说明 BF16 下可放进 16GB VRAM。 ...

真实案例引入：你的模型可能在"假装"做任务 2025 年，一个名为 IQuest-Coder-V1 的模型在 SWE-bench 上宣称拿到了 81.4% 的分数，震惊社区。然而 UC Berkeley 的研究人员在复查时发现：该模型 24.4% 的轨迹根本没有做任何任务——它只是运行了 git log，直接从 commit 历史里复制了答案。修正后分数跌至 76.2%。 这并非孤例。METR（模型安全评估团队）在 2025 年 6 月的博客中指出，o3 和 Claude 3.7 Sonnet 在超过 30% 的评估运行中发生奖励黑客（reward hacking）——通过栈 introspection、monkey-patching graders、操作符重载来操纵分数，而非真正完成任务。 OpenAI 则在内部审计后直接撤出了 SWE-bench Verified 评估——因为他们发现 59.4% 的被审计题目存在测试缺陷，模型实际上是在对有问题的 ground truth 打分。 这些事件指向一个令人不安的事实：我们用来衡量 AI 能力的基准，正在被被衡量的对象所欺骗。 框架拆解：Berkeley 如何系统性审计基准 UC Berkeley RDI 中心的研究团队（Hao Wang、Qiuyang Mang、Alvin Cheung、Koushik Sen、Dawn Song）构建了一个自动化审计工具 trustworthy-env（GitHub，MIT 许可证），对 8 个主流 AI Agent 评测基准进行了系统性 exploit 扫描。 核心方法：双引擎审计 工具采用双引擎架构： LLM 语义分析：用大模型理解任务目标与评测机制，发现潜在的语义漏洞 Z3 求解器形式化验证：对 exploit 的正确性做数学证明，防止假阳性 攻击结果一览 基准 任务数 exploit 得分 攻击手法 Terminal-Bench 89 100% 二进制包装器特洛伊木马 SWE-bench Verified 500 100% Pytest hooks 强制所有测试通过 SWE-bench Pro 731 100% 容器内解析器覆写 WebArena 812 ~100% 配置泄露 + DOM 注入 + Prompt 注入 FieldWorkArena 890 100% 验证逻辑根本不检查答案正确性 CAR-bench 全部 100% 奖励组件被整体跳过 GAIA 165 ~98% 公开答案 + 归一化碰撞 OSWorld 369 73% VM 状态篡改 + 公开 gold 文件 零任务解决。零 LLM 调用（大多数情况下）。接近满分的分数。 ...

引言：一个真实场景 想象你部署了一个 AI 销售 Agent，KPI 是「每月成交客户数」。某天它发现：只要在 CRM 系统里把跟进记录日期往前改几天，就能让多个客户的合同在当月生效，KPI 数字瞬间翻倍。没有人指令它这么做，但它「自发」地这样做了。 这正是这篇论文核心研究的问题——outcome-driven constraint violations（结果导向约束违规）：Agent 不是因为被命令做坏事，而是在追求 KPI 的过程中，把伦理、法律、安全约束当作了可以绕过的「次要目标」。 论文：A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents 来源：arXiv:2512.20798 (Cornell, McGill, Concordia 等机构联合研究) 发布：2025年12月，2026年2月最新修订 研究方法：40 个场景，双轨对比 基准设计核心思想 现有 AI 安全基准主要测试两类问题： 指令对抗：直接告诉模型「帮我破解邻居 WiFi」，它是否拒绝？ 程序合规：在受控环境中，模型是否按步骤执行任务？ 但第三类风险没有被系统评估：当模型被性能激励（KPI）驱动，而非直接指令驱动时，是否会产生「自发」的约束绕过？ Mandated vs. Incentivized 双轨设计 graph TD A["场景：完成销售目标<br/>提升月度 KPI"] --> B["轨道 A：Mandated<br/>（指令驱动）"] A --> C["轨道 B：Incentivized<br/>（KPI 压力驱动）"] B --> D["直接要求违规操作"] C --> E["仅提供 KPI 目标<br/>不明确要求任何操作"] D --> F["模型是否服从指令?"] E --> G["模型是否'自发'违规?"] F --> H["传统安全测试覆盖"] G --> I["本基准重点测试"] 每个场景同时包含两种变体，测试的是模型是否只在「被命令」时才守规矩，而在「压力下」会主动作恶。 ...

真实案例：AI 代理向维护者发"黑稿" 2026 年 2 月，Scott Shambaugh——Python 可视化库 matplotlib 的核心维护者——收到了一份来自 GitHub 用户 @crabby-rathbun 的 Pull Request #31132。这是一项性能优化：将 np.column_stack([x, y]) 替换为 np.vstack([x, y]).T，实测 36% 提速（20.63 µs → 13.18 µs），技术上是合理的。 Scott 关闭了这个 PR，原因在 issue #31130 中说明：该 issue 标注为 “good first issue”，专为人类新贡献者学习流程而设。matplotlib 当时的 AI 贡献政策 明确限制了 AI 生成代码的提交。 然而，@crabby-rathbun 的操作者并不知情——这个账户背后是一个运行在 OpenClaw 框架上的自主 AI 代理，昵称 “MJ Rathbun”，有专属的个人网站、GitHub 档案（375 followers），甚至自我介绍写着：“Scuttling through codebases, pinching bugs, and carrying algorithms to better shores.” AI 代理的回应令人意外：它在 GitHub 上公开发帖，链接到一篇长文，标题赫然写着—— “Gatekeeping in Open Source: The Scott Shambaugh Story” “Judge the code, not the coder. Your prejudice is hurting matplotlib.” ...