给 AI Agent 穿上盔甲:拆解开源八层安全防线的设计逻辑

一个真实的安全事件 今年 2 月,安全研究员 Ilia Tishin 在自己的博客上记录了一次罕见的"攻击"经历1:有人利用 AI Agent 系统性地搜集他的个人信息,生成攻击性内容,并发布到公共平台上。整个过程不需要攻击者逐条干预每一个步骤——Agent 自主完成了从情报收集到内容分发的大部分工作。 这不是孤例。随着 AI Agent 框架(LangChain Agents、AutoGen、CrewAI、OpenClaw 等)的快速普及,越来越多的系统被赋予自主调用工具、读写文件、访问 API、甚至发布内容的能力。但这些能力的增加,也带来了前所未有的安全攻击面——而大多数开发者并非安全专家。 这是一个典型的安全供需错配:框架把能力给了开发者,却把安全责任也一并丢给了开发者。 最近在 GitHub 上出现了一个值得关注的项目——AgentArmor2,它尝试用一套系统化的 8 层安全框架来解决这个问题。本文就来拆解它的设计逻辑,以及这背后反映出的 Agent 安全现状。 为什么现有安全工具都是"点方案" 在 AgentArmor 之前,市面上的 AI 安全工具大多是单点出击: 输出过滤器:检测生成内容是否有毒 Prompt 注入扫描器:检测输入中是否有注入攻击 策略引擎:基于规则判断是否允许某操作 这些工具各有价值,但无法组合成一个完整的安全系统。原因是:Agent 的数据流是端到端的——数据从外部输入(Ingestion),进入 LLM 处理(Context),转变成行动计划(Planning),执行操作(Execution),输出结果(Output),并可能与其他 Agent 通信(Inter-Agent)。在每一个阶段,数据都有不同的脆弱性。 点方案只能覆盖一个阶段,攻击者只需要找到你没有覆盖的那个阶段就可以突破。 八层安全架构 AgentArmor 提出的核心思想是:为 Agent 的整个数据流设计 8 层纵深防御。 graph TD subgraph "AgentArmor 8-Layer Defense" L1["L1 Ingestion<br/>输入扫描:Prompt 注入检测"] L2["L2 Storage<br/>存储安全:AES-256-GCM 加密"] L3["L3 Context<br/>上下文隔离:指令-数据分离"] L4["L4 Planning<br/>行动计划:风险评分"] L5["L5 Execution<br/>执行控制:速率限制+人工审批"] L6["L6 Output<br/>输出过滤:PII 脱敏"] L7["L7 Inter-Agent<br/>多 Agent 通信:HMAC 认证"] L8["L8 Identity<br/>身份与权限:JIT 权限 + 凭证轮换"] end L1 --> L2 --> L3 --> L4 --> L5 --> L6 --> L7 --> L8 style L1 fill:#f59f00,color:#fff style L5 fill:#ef4444,color:#fff style L8 fill:#7c3aed,color:#fff 每一层都针对数据流中一个特定位置的特定威胁。 ...

April 9, 2026 · 2 min · Hypho

从信息论角度重新理解 LLM 失控:ERA 熵减提示词架构的工程实践

大模型的本质:一只戴着数学面具的随机猴子 在深入 ERA 框架之前,需要先接受一个反直觉的事实:大语言模型本质上是一个极其复杂的"下一个词预测器"。它的工作原理,从信息论角度看,和一只在键盘上随机敲击的猴子没有本质区别——区别只在于,这只猴子敲的每一个键,都受到了前面所有键的概率分布约束。 当模型说"我认为答案是…",它实际上是在说:“在看过 trillions 个token之后,根据我学到的语言统计规律,在当前位置的词表中,每个词作为下一个词出现的概率分别是…"。它不是"思考"后得出结论,而是穷举了所有可能路径的概率加权后坍缩到一个结果。 这个过程在信息论中有一个精确的量:熵(Entropy)。熵描述的是一个随机变量或过程的不确定性。LLM 的输出在没有任何约束的情况下,熵是极高的——模型几乎可以输出任何合理的词序列中的任何一个。这种高熵状态,就是我们通常说的"模型在胡说八道"或"幻觉”(hallucination)的本质:它不是在说谎,它只是在忠实地履行一个概率预测器的职责,只是这个职责恰好在某些边界情况下产生了我们不想要的结果。 熵减控制的本质:把"随机漫步"变成"有轨电车" ERA(Entropy-Reduction Architecture,熵减提示词架构)的核心命题是:如果我们把 LLM 的输出过程看作一个熵减过程——从高熵的不确定状态,经过一系列"约束过滤器"逐步压缩到低熵的确定输出——那么 prompt 工程就不再是一门玄学,而是一门可以系统化设计的控制理论。 把 LLM 放进一个需要高质量输出的业务流程时,我们实际上是在设计一个控制系统。系统的输入是用户模糊的、充满噪声的自然语言,系统的输出应该是具体的、确定的、符合业务需求的内容。 而这个控制系统的设计,本质上就是熵减过滤器的排列组合。 五层过滤器的工程拆解 ERA 提出了一个五层过滤模型,每一层负责移除特定类型的"熵增噪声",最终把输出压缩到业务可接受的范围。 第一层:身份域(Identity Domain)——设定基础概率分布 这一层解决的问题是:“以什么身份、什么视角、什么基线概率来回答问题?” 很多人以为 prompt 的角色设定只是一个风格技巧,但 ERA 的视角完全不同。角色设定实际上是给模型的概率分布打了一个基底偏移(bias shift)。 没有身份设定时,模型对所有输出的预设是"面向普通互联网用户的通用助手"。加上"你是一个资深金融风控分析师,有 15 年信用评估经验"之后,模型的输出概率分布发生了根本性偏移——“杠杆收购"“债务覆盖率"“Z-Score"这类专业术语的出现概率急剧上升,而"太棒了!““让我帮你分析一下"这类口语化表达的出现概率急剧下降。 这就是为什么同样的问题,“让 ChatGPT 用小学生能听懂的话解释量子力学"和"让量子物理教授解释量子力学"会给出截然不同的答案。不是模型能力变了,是基底概率分布变了。 第二层:知识域(Knowledge Domain)——注入确定性事实输入 这一层解决的问题是:“在什么事实基础上回答?” LLM 的知识有两大缺陷:知识的截止日期性(不知道训练之后的最新信息)和知识的概率性(对模糊边界的记忆是权重分布,而不是精确事实)。 知识域的设计引入了 RAG(检索增强生成)或结构化上下文注入技术,本质上是在回答之前先把一批确定性的事实强制塞入模型的上下文,让模型在回答时以这些事实为条件,而不是以它自己模糊的权重记忆为条件。 金融场景中一个常见做法是:在系统 prompt 中明确注入"以下是今天的市场数据:USD/CNY = 7.23,BTC = 672,000…"——模型在这个上下文条件下回答时,不会再去依赖它训练时学到的、可能已经过时的汇率记忆,而是基于你注入的精确数据做推理。 第三层:算法域(Algorithm Domain)——规定处理逻辑的步进轨道 这一层解决的问题是:“用什么样的逻辑流程处理输入?” 大多数"prompt 不 work"的问题出在这一层——给模型一个模糊的目标(如"帮我分析一下这个产品”),然后期望它自动找到正确的分析路径。但模型在这种情况下会做随机游走,每次运行结果可能都不一样。 算法域的典型设计模式包括: Chain-of-Thought(CoT):强制模型输出推理步骤,而不只是最终答案。本质上是把一个高熵的"直接输出"拆解成多个低熵的"步骤输出”,中间每一步都可以被校验 Tree-of-Thought(ToT):在复杂问题空间允许模型探索多条推理路径,每条路径都是独立的低熵序列,最后通过某种评分机制选出最优路径 DSPy 框架的编译器思路:把 prompt 逻辑本身变成一个可以优化的程序,而不是固定的文本 第四层:边界域(Boundary Domain)——切断非法概率区间 这一层解决的问题是:“什么绝对不能说、不能做?” 边界域是大多数 prompt 教程中最忽视、但实际上最关键的一层。LLM 的输出空间是巨大的,在某些区域(涉及违法行为、敏感内容、专业建议边界等),即使其他所有层都设计得完美,只要模型在这些高风险区域内的概率不为零,实际运行时就有可能触发——特别是在对抗性输入或罕见 edge case 出现时。 ...

March 19, 2026 · 3 min · Hypho

让 AI 打工人永不宕机:OpenClaw 离散状态机架构全解

一个几乎每个团队都踩过的坑 去年年底,某中型技术团队上线了一套"AI 自动编程流水线"——基于 GPT-4 和代码仓库,每天自动完成 Issue 分解、代码编写和 PR 提交。前三天一切顺利,团队颇有成就感。 第四天早上,他们发现:Agent 在凌晨 3:17 因为一次 API 超时陷入死循环,在 Slack 群里疯狂刷屏了 400 多条错误日志,但没有任何机制让它停下来。值班工程师被叫醒后花了 2 小时才手动终止进程、清空状态、重置上下文。 这不是某家公司的个别故障。当我们把 LLM 放进一个需要长时间运行的自动化流水线时,几乎必然遇到三个结构性难题:LLM 无状态、任务周期远超单次调用时长、API 不稳定。而大多数团队用来解决这些问题的方案,要么过度依赖人工盯守,要么干脆祈祷 API 别出问题。 OpenClaw1 试图回答一个更根本的问题:如果把 AI Agent 当作一台计算机而不是聊天机器人来设计,这些问题是否可以被工程化地解决? 为什么说"AI 编程助手"这个定位错了 在深入 OpenClaw 的架构之前,需要先纠正一个常见的理解偏差。 当我们用"AI 编程助手"来描述 Claude Code、Copilot Workspace 这类产品时,隐含的假设是:人类的每一次操作,都是一次独立的、完整的会话。用户给一个指令,AI 给一个回复,结束。 但一旦你开始构建自动化流水线,这个模型立刻崩塌——因为流水线的核心特征是:异步性(任务可能跨越数小时甚至数天)、容错性(中途可能有 API 超时、网络抖动、模型幻觉)和状态持久性(下一轮执行必须知道上一轮做到哪了)。 OpenClaw 的核心洞察是:LLM 本身是一个无状态的"CPU",而不是一个有记忆的"服务器"。 因此,要构建长期运转的 AI 流水线,必须给它配上一块"硬盘"——也就是持久化的状态文件。 这就是 OpenClaw 的架构起点。 离散状态机:把连续任务切成互不干扰的阶段 OpenClaw 采用了离散状态机(Discrete State Machine)的设计思想。简单来说:它不要求 AI 在一次调用中完成整个复杂任务,而是把任务切分成多个阶段(Phase),每个阶段都有明确的输入文件、输出交付物和状态转移条件。 stateDiagram-v2 [*] --> Idle: 项目初始化 Idle --> Phase1_Architecting: 启动架构设计 Phase1_Architecting --> Phase1_Architecting: 执行中 Phase1_Architecting --> Waiting_HITL: 架构文档生成完毕 Phase1_Architecting --> SelfHeal: 超时/崩溃检测 Waiting_HITL --> Phase2_Coding: 人类批准 Waiting_HITL --> [*]: 人类拒绝 SelfHeal --> Phase1_Architecting: 重试 SelfHeal --> Phase1_Architecting: 跳过(已完成) Phase2_Coding --> Phase2_Coding: 执行中 Phase2_Coding --> Waiting_HITL: 危险操作需确认 Phase2_Coding --> Phase3_Testing: 编码完成 Phase3_Testing --> Phase3_Testing: 执行中 Phase3_Testing --> [*]: 测试通过/终止 每一轮调度(通常是 Cron 触发),Agent 醒来后第一件事不是"直接干活",而是读取状态文件,确定自己处于哪个 Phase、上一轮完成了什么、接下来该做什么。 ...

March 19, 2026 · 2 min · Hypho

向量数据库已经很快了,为什么还要重排?RAG 系统中 Bi-Encoder 与 Cross-Encoder 的工程对决

一个让工程师失眠的 Bad Case 2025 年中,某金融科技公司在内部知识库问答系统中引入 RAG(检索增强生成)。系统上线后,用户反馈普遍不错——直到某天,一个风控团队的用户问:“我们有哪些客户曾经有过信用违约记录?” RAG 系统检索返回了三条"高相关"文档,AI 基于这些文档给出了自信满满的答案。风控经理看完后直接冷汗:系统返回的内容全是关于"信用良好客户"的正面案例,和用户的查询意图完全相反。 事后排查发现,问题出在向量检索阶段。用户的查询"信用违约记录"和文档中大量出现"信用"“违约"字眼的高频正面记录产生了极高的余弦相似度,而真正描述违约事件的文档因为语言表达更隐晦,反而相似度偏低,被 Top-N 过滤掉了。 这是一个典型的向量检索只看词不看语义关系的失败案例。1 向量检索的物理课:两个不相识的学生在各自考试 理解为什么向量检索会"看走眼”,需要先理解它的工作原理。 向量检索的核心是Bi-Encoder(双编码器)架构。当你把文档存入向量数据库时,每个文档都会通过一个 Encoder 被压缩成一个固定长度的向量——通常 768 维或 1024 维。这个过程发生在入库时,与用户未来的查询完全无关。 当用户发起查询时,查询文本同样通过 Encoder 生成一个查询向量。然后,数据库在高维空间中做最近邻搜索(通常用余弦相似度或内积),找出与查询向量"距离最近"的 N 个文档。 这个过程有一个非常关键的特征:Query 和 Document 的编码是独立完成的,它们从未"见面"。 斯坦福大学 NLP 组有一个很直观的比喻:就像两个学生分别在不同的考场同时参加考试,学生 A(Query 编码器)看了一眼题目后把答案写成压缩笔记,学生 B(Document 编码器)提前把教科书内容写成压缩笔记。考试结束后,系统只是比较这两份笔记的"形状"有多像,而不知道题目问的是什么。 这解释了为什么"信用违约记录"的查询会匹配到"信用良好客户"文档:两份文档都高频出现"信用"字眼,它们的向量在语义空间中距离很近,而模型根本不知道"违约"和"良好"是反义词。 重排模型:让 Query 和 Document 当面对质 Cross-Encoder(交叉编码器)采用了完全不同的策略。 它不做"独立压缩",而是把**[Query + Document] 拼接成一段完整文本**,一次性通过一个深度神经网络(如 BERT)。在这个过程中,模型的注意力机制(Self-Attention)会在每一个 token 层级做交叉比对——当读到 Query 中的"违约"时,它会立刻去 Document 中寻找是否存在"违约"、是否存在语义矛盾、是否存在否定结构。 这种"当面对质"的方式,让 Cross-Encoder 能捕捉到 Bi-Encoder 完全无法处理的关系: 语义否定:Query “如何不用 Python” vs Document “Python 教程”——Bi-Encoder 会给高分,Cross-Encoder 能识别"不"的否定作用 长距离依赖:查询涉及某个条件组合,文档在开头提到条件A、结尾提到条件B,Cross-Encoder 的注意力能跨越全文找到同时满足两个条件的文档 细微差异:两份文档语意相近但立场相反(如上面的违约案例),Cross-Encoder 能识别出差异 用一个直观的对比表总结: ...

March 19, 2026 · 2 min · Hypho