Mistral 发布 Shieldstral 安全分类器
来自 Mistral AI · 期号 2026-08-04
摘要
Mistral AI 发布了一款 3B 参数的开源多模态安全分类器 Shieldstral。它专门用于检测输入和输出中的有害内容，性能超过了参数量高达 7 倍的模型。 Shieldstral 采用 MoE 架构，有 128 个专家，每 token 激活 4 个，总参数量 3B，活跃参数量 0.3B。它支持文本和图像输入，可以识别仇恨言论、暴力、色情等 13 类有害内容。
深读
导读 Mistral AI 发布了一款 3B 参数的开源多模态安全分类器 Shieldstral，通过将内容审核重构为策略自适应的问答任务，在多项基准上超越了参数量高达 7 倍的模型。它最大的特点是无需重新训练，只需在推理时用自然语言输入审核策略即可适配不同场景。读完能理解一种比传统固定分类法更灵活的内容安全方案，以及小模型如何通过数据策略超越大模型。 关键信息 - 总参数量 3B，采用 MoE 架构（128 个专家，每 token 激活 4 个），活跃参数量 0.3B，可在单张 16GB NVIDIA GPU 上运行。 - 在文本安全、拒答检测、策略适应性和多模态安全四个维度的基准测试中，匹配或超越参数量高达 7 倍的开放模型。 - 支持文本和图像输入，将提示分类、回复审核、拒答检测和毒性检测统一为同一个问答框架。 - 推理时只读取 yes 和 no 两个 logits，经 softmax 归一化为连续的安全分数，支持按置信度设阈值排序。 - 以 Apache 2.0 许可证开源权重。 逐节讲解 传统审核模型的局限与 Shieldstral 的思路 传统护栏模型将固定的有害内容分类法编码进权重，换一个部署场景就需要重新训练。Shieldstral 的做法是：用户在推理时用自然语言写一条策略（如“这段内容是否宣扬针对特定群体的暴力？”），模型返回一个校准过的安全分数。不需要重新训练，文本和图像共用同一接口，从单个 token 输出判决。 审核即问答：输入格式与推理机制 每次请求包含三部分：<Instruct>（评估上下文、严格程度和可选的有害内容定义）、<Query>（一个 yes/no 问题）、<Document>（待判断的内容，可以是提示词、回复、提示词-回复对，或带可选文本的图像）。推理时模型只读取 yes 和 no 的 logits，经 softmax 归一化为连续分数。这一设计将提示分类、回复审核、拒答检测和毒性检测统一为同一个问题，策略完全在 prompt 中指定，一个 checkpoint 即可在部署时适应新策略。 数据策略：小模型如何超越大模型 核心思路是数据质量决定模型质量，团队解决了四个问题： 1. 统一异构数据——将不同分类法、标签格式的数据集都转换为统一的指令-查询-文档格式，并变化措辞让模型泛化而非过拟合单一风格。 2. 训练区分而非记忆——构造容易混淆的相似策略对，让 LLM 将安全文本改写为对比样本（每个改写只违反其中一条策略），训练模型区分具体违反的是哪条策略，这一技能可迁移到推理时未见过的用户自定义策略。 3. 图像安全数据——用通用图像数据集作为高质量负样本补充有限的审核数据集，并通过视觉-语言重排序器过滤误标数据。 4. 合并互补的 checkpoint——用 LoRA 微调后通过 SLERP 合并三个 checkpoi…