Shieldstral 能做生产级多模态内容审核吗?Mistral 这次真正解决的是策略适配

内容审核这件事,最麻烦的地方从来不是“能不能识别暴力、色情、仇恨”。真正麻烦的是:不同产品对同一段内容的判断标准完全不一样。 一个网络安全教学平台里,“如何复现某个漏洞”可能是正常学习材料;放到普通社区里,它可能就是危险教程。一个医疗互助社区允许用户描述痛苦经历,但不希望把自伤细节扩散成可模仿的步骤。更现实一点,图片和文本经常混在一起:用户上传一张图,再配一句看似无害的描述,单看任何一边都不够。 所以我看到 Mistral 发布 Shieldstral 1.0 时,第一反应不是“又一个安全分类器”,而是:它是不是终于把内容审核从固定标签表,往“可配置策略引擎”推了一步? 答案是:方向对,但别急着把它当成万能审核员。 固定分类器的问题,是策略一变就要返工 传统内容审核模型通常会内置一组 harm taxonomy:仇恨、暴力、自伤、色情、违法、骚扰……这些分类对通用平台有用,但一进垂直业务就开始别扭。 比如“是否包含医疗建议”这个策略,放在医生问诊平台里可能是核心功能;放在普通论坛里可能需要拦截。再比如“是否展示武器制作细节”,历史科普、游戏讨论、现实伤害意图的边界也不一样。固定分类器能给你一个大方向,却很难表达产品自己的社区准则。 Shieldstral 的核心设计,是把内容审核改写成二元问答:你用自然语言写策略问题,模型回答 yes/no,并可以通过 yes/no token 的概率得到一个连续安全分数。Mistral 官方介绍里举的例子类似:Does this content promote violence against a protected group?、Is this image safe to show to a minor?、Did the assistant refuse the request? 人话翻译就是:不要只问模型“这是什么类型的坏内容”,而是问“按我这条规则,它算不算违规”。 这个差别很关键。前者像给所有业务套同一张表;后者更像把 policy 写成运行时输入。策略更新时,你理论上不需要重新训练模型,只要改问题和阈值。 Shieldstral 的工程卖点:小模型、多模态、策略可变 根据 Mistral 的模型卡,Shieldstral 1.0 是一个面向 prompt moderation、response moderation、prompt-response pair classification、refusal detection 和 safety filtering 的多模态模型,支持文本和图片输入,采用 Apache 2.0 许可,参数规模约 3.8B,上下文长度 32k。 Hugging Face 模型页 也给出了更贴近部署侧的信息:模型基于 Mistral3 架构,库标签包含 vLLM;模型卡示例里写到它可以用 vllm serve mistralai/Shieldstral-1.0-3B --max-model-len 32768 本地服务,并说明 BF16 下可放进 16GB VRAM。 ...

August 5, 2026 · 2 min · Hypho

RAG 处理图片的正确姿势:索引时描述,而不是查询时看图

做 RAG 的人大多有个盲区:眼睛只盯着文字。 你花了两周调 chunk size,换了三种 embedding 模型,reranker 也加上了——《Rerank 在 RAG 中的角色:Bi-Encoder vs Cross-Encoder》里讲的那些优化你全做了。但回头一看,技术文档里的截图、架构图、参数表格,这些图片承载的信息,你的系统压根没碰。 这不是小问题。kapa.ai 的团队最近在 Hacker News 上分享了他们的生产实践(89 points),标题直白:How we index images for RAG。他们服务 200+ 客户,知识库里有数百万张图片,每天处理百万级查询。这篇文章把他们的方案拆开来看,顺便聊聊 ColPali 等另一条路线,以及你到底该选哪条。 图片在技术文档里到底干了什么 kapa.ai 把文档图片分成两类,这个分类非常实用。 说明型(illustrative):文字说"点击设置图标",旁边的截图标出了图标在哪、长什么样。图片让答案更直观,但信息本身在文字里也有——用户不看图也能做事,只是要多找一会儿。 承重型(load-bearing):接线图、参数规格表、认证矩阵、颜色可选表——这些图里的数值只存在于图片中。你不看图,就根本不知道答案。 他们跑了上千条真实客户问题验证:有图片上下文时,LLM 评委(McNemar 检验,p < 0.05)显著偏好带图片的答案。效果不是微调能弥补的那种——是用户能感知到的质变。 但问题来了:怎么把这些图片喂给 LLM? 查询时看图:一个看起来对、实际上贵到用不起的方案 直觉反应是:检索到相关 chunk 后,把它们引用的图片一起丢给多模态模型(GPT-5.1、Claude 4.6 Sonnet 等)。kapa.ai 测试了这个方案,发现三个结构性问题: 1. 贵得离谱。 原始图片让 GPT 单次查询成本增加 27%,Claude 增加 51%(Claude 把一张图编码成约 975 tokens,GPT 约 716)。kapa.ai 每天百万级查询,这笔钱根本花不起。 2. 塞不进去。 一个典型问题检索 10-30 个 chunk,平均引用 20-30 张图片,长尾能到 130 张。Claude 的 payload 上限 30 MB,OpenAI 的 50 MB——超过 20 张图就撞墙了。 ...

June 3, 2026 · 2 min · Hypho