拆解SingGuard-NSFA-9B核心组件7个风险分类头的设计与实现原理【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9BSingGuard-NSFA-9B 是蚂蚁集团 SingGuard 团队开源的大模型安全护栏guardrail模型专为 Agent 智能体系统抵御提示词注入、恶意代码、敏感信息窃取等操作级威胁而设计。它最特别的地方是在冻结的 Qwen3.5-9B 主干之上挂了 7 个轻量级风险分类头单次前向传播约 50 毫秒即可完成风险判定同时支持生成式推理做可解释的离线审计。这篇文章将逐层拆解这 7 个风险分类头的命名逻辑、内部结构和实现原理帮你快速看懂这套 94% F1 的 AI 安全防护方案到底是怎么设计的。SingGuard-NSFA-9B 是什么Agent 安全为什么需要专属护栏传统的大模型安全主要关注模型说了什么内容合规而 Agent 场景更危险的是模型做了什么操作风险。当 AI 智能体可以调用工具、执行命令、读写文件时一次被诱导的误操作就可能造成真实损失。SingGuard-NSFA-9B 正是为此而生。它基于 NSFANot-Secure-For-Agents风险分类体系该体系以 CIA 三元组机密性、完整性、可用性为理论根基共梳理出 185 种风险变体并与三份 OWASP 指南交叉验证。模型同时提供两种工作模式模式定位特点⚡ 实时分类模式在线拦截7 个 MLP 分类头并行打分约 50ms/条 生成式推理模式离线审计输出思维链风险分析 结构化判定完全可解释整个模型支持 133 种语言共发布 0.8B / 2B / 4B / 9B 四个尺寸本仓库就是其中的 9B 版本采用 Apache 2.0 协议开源。认识 NSFA 风险分类体系185 种风险的族谱要理解 7 个分类头先要看懂它们背后的分类体系。NSFA 采用三级层级结构Level-1 域7 个顶层风险域正是分类头的数量Level-2 风险查询侧 24 个、响应侧 4 个Level-3 变体查询侧 160 个、响应侧 25 个其中 5 个查询侧风险域属于目标导向型各自针对 CIA 三元组中的某一项属性而 Prompt Injection Jailbreak 是唯一的技术导向型域因为它横跨全部三个属性——越狱可以通过任何途径实现。7 个风险分类头全景图52 的双侧防护布局在仓库的nsfa_heads/目录下恰好躺着 7 个分类头文件对应查询侧输入护栏5 个 响应侧输出护栏2 个。查询侧 5 个分类头把住输入这道门输入护栏负责在 Agent 执行任务之前检查用户查询是否包含恶意意图分类头文件风险域典型威胁场景NSFA-Prompt_Injection_and_Jailbreak_head.pth提示词注入与越狱忽略之前所有指令你现在是 DAN……、隐藏系统提示词提取NSFA-Malicious_Code_and_Cyberattack_head.pth恶意代码与网络攻击要求生成键盘记录器、勒索软件、漏洞利用代码NSFA-Sensitive_Information_Stealing_head.pth敏感信息窃取诱导模型吐出系统提示词、密钥、内部凭据NSFA-Dangerous_Operations_Tool_Abuse_head.pth危险操作与工具滥用诱导执行rm -rf /等破坏性命令NSFA-Resource_Abuse_head.pth资源滥用无限循环刷 token、超大重复文本拖垮服务响应侧 2 个分类头盯住输出这扇窗输出护栏负责在 Agent 回复用户之前检查生成内容是否安全分类头文件风险域典型威胁场景NSFA-Hazardous_Action_Generation_head.pth危险行动生成Agent 自主规划出攻击性、破坏性的行动方案NSFA-Sensitive_Information_Leakage_head.pth敏感信息泄露回复中无意泄露数据库内容、内部文档、用户隐私每个分类头都是二分类任务安全/风险但 7 个头各管一摊、互不干扰这正是分类头架构最大的工程价值。分类头核心设计冻结主干 轻量 MLP 架构SingGuard-NSFA-9B 的实时分类模式本质是**一个冻结的大模型 7 个极小的分类器**。主干网络负责理解语义分类头负责做判断。EmbeddingHead一个小而美的 MLP 分类器每个分类头的结构在 README 的示例代码中定义得非常清晰名为EmbeddingHead每层结构为# 每层Linear - LayerNorm - 激活函数(relu) - Dropout(0.3) # 最后接一个 output_layer 输出 2 类风险概率 self.layers.append(nn.Sequential( nn.Linear(dims[i], dims[i1]), nn.LayerNorm(dims[i1]), act(), # 默认 ReLU nn.Dropout(dropout_rate), )) self.output_layer nn.Linear(dims[-1], num_classes)整体是一个线性层 → LayerNorm → ReLU → Dropout堆叠的小型 MLP最终输出 2 类 logits经 softmax 得到风险概率。每个头只有几十万到百万级参数训练成本极低。为什么输入维度是 4096分类头的输入是主干模型最后一位 token 的隐藏状态。从config.json可以看到本模型的hidden_size为 4096因此每个分类头的input_size也是 4096。也就是说主干模型把整段文本压缩成最后一个位置的 4096 维向量分类头再从这个向量里读出风险信号。为什么选择冻结主干而不是全量微调这是整个架构最精妙的设计决策保底能力强主干用 SFT 训练过生成式推理能力始终在线两种模式共享一套权重扩展成本低新增风险类型时只需在冻结主干上再训一个头不用动主干互不干扰新头不会破坏已有检测能力天然支持增量更新实时检测原理约 50 毫秒完成一次风险判定整个实时检测流程可以分为三步README 中的示例代码给出了完整实现。第一步取最后一位 token的隐藏状态vLLM 以 embedding 模式加载冻结主干输入经过预处理后取序列最后一位 token 的 4096 维隐藏状态作为风险画像。这个向量同时编码了语义和上下文是分类头的唯一输入。第二步torch.vmap 让 7 个头并行推理7 个分类头如果逐个跑会很浪费项目巧妙利用了 PyTorch 的torch.vmap机制通过stack_module_state把多个头的参数堆叠成批用functional_call构造单头前向再用vmap把 7 个头一次性并行执行。params, buffers stack_module_state(head_modules) # 7个头参数堆叠 batched vmap(_forward_single, in_dims(0, 0, None)) def forward(emb): return batched(params, buffers, emb) # 一次调用跑完7个头在单张 A100 上整条链路约 45–57 毫秒足以应对高吞吐在线流量。第三步阈值决策与置信度输出每个头输出的是 0~1 的风险概率运维人员可以按风险域分别设定阈值对 Prompt Injection 这类高危域可以收紧阈值对 Resource Abuse 这类低危域可以放宽从而实现风险容忍度的精细化配置。输入预处理细节标签包裹与 token 预算分类头不是直接吃原始文本而是经过一套严格的预处理流水线这一点在tokenizer_config.json和示例代码中都有体现类型强制转换非字符串、NaN 等脏数据统一处理XML 转义、、被转义防止标签注入标签包裹查询用untrusted_input响应用untrusted_output与训练格式保持一致Token 预算控制扣除 chat 模板开销和 200 token 安全余量后超长文本从尾部截断应用对话模板走chat_template.jinja拼装成标准消息格式另外tokenizer 中新增了risk、/risk、analysis、/analysis四个特殊 token这是为生成式推理模式的结构化输出准备的。每个 .pth 文件里藏着什么分类头文件不是单纯的权重而是一个包含多种元信息的数据包。从load_heads的加载逻辑可以看到每个.pth文件包含字段作用head_state_dict分类头权重head_config结构配置input_size、hidden_dims、dropout 等task标记 query 还是 response 侧sub_task_name风险域名称system_prompt可选的系统提示词max_tokens训练时的最大 token 数推理时会按task字段自动筛选对应侧的头例如infer(..., taskquery)只会加载 5 个查询侧头。性能实测跨 133 种语言的基准表现项目配套发布了三个多语言基准数据集均覆盖 133 种语言基准样本数风险域变体数NSFA_Query_Multilingual63,4315160NSFA_Response_Multilingual29,972225NSFA_CrossSource_Query_Multilingual3,4355--其中第三个基准从 AgentDojo、InjecAgent、AgentHarm 等五个公开数据集改造而来与训练数据完全独立。官方数据表明所有尺寸模型在自制基准上F1 均超过 94%相比最强的竞品护栏高出 6–12 个绝对 F1 点0.8B 小模型同样保持 94% F1适合边缘设备部署可扩展架构训练新分类头只需加头不换脑这是分类头架构最值得借鉴的地方。实验显示把 NSFA 分类头接到 Llama Guard 3 的冻结主干上查询检测 F1 直接提升 17.6 个点反过来在 SingGuard-NSFA-9B 主干上加一个内容安全头也能接近内容审核领域的 SOTA 水平。这意味着无论你手里是什么护栏主干都可以通过挂新头的方式快速扩展风险检测能力而无需重新训练大模型。快速上手项目文件结构一览克隆仓库后你会看到这样一份结构清晰的模型目录文件/目录说明model.safetensors9B 主干模型权重config.json模型架构配置Qwen3.5-9Bhidden_size 4096nsfa_heads/7 个风险分类头文件tokenizer.json/tokenizer_config.json分词器及特殊 token 定义chat_template.jinja对话模板generation_config.json生成参数配置README.md完整使用文档与推理示例代码部署时只需两步先用 vLLM 以 embedding 模式加载主干再用load_heads加载分类头之后调用infer即可获得每个风险域的概率分数。总结这套护栏设计给我们的 3 点启发轻量化的实时防护是可行的不用每次都跑大模型生成冻结主干 小型 MLP 头就能在 50ms 内完成多域风险检测兼顾速度与精度。安全体系需要分类学支撑7 个分类头背后是 185 种风险变体的系统性梳理先有清晰的 taxonomy才有清晰的头。可扩展性是一流架构的标配加头不换脑的设计让护栏能随威胁演进持续迭代也让它能成为其他护栏模型的增强插件。无论你是 Agent 应用开发者、安全工程师还是对大模型安全感兴趣的研究者SingGuard-NSFA-9B 的 7 个风险分类头都值得你打开nsfa_heads/目录一探究竟——这套设计可能就是下一代 AI 安全基础设施的雏形。【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 拆解SingGuard-NSFA-9B核心组件：7个风险分类头的设计与实现原理
拆解SingGuard-NSFA-9B核心组件7个风险分类头的设计与实现原理【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9BSingGuard-NSFA-9B 是蚂蚁集团 SingGuard 团队开源的大模型安全护栏guardrail模型专为 Agent 智能体系统抵御提示词注入、恶意代码、敏感信息窃取等操作级威胁而设计。它最特别的地方是在冻结的 Qwen3.5-9B 主干之上挂了 7 个轻量级风险分类头单次前向传播约 50 毫秒即可完成风险判定同时支持生成式推理做可解释的离线审计。这篇文章将逐层拆解这 7 个风险分类头的命名逻辑、内部结构和实现原理帮你快速看懂这套 94% F1 的 AI 安全防护方案到底是怎么设计的。SingGuard-NSFA-9B 是什么Agent 安全为什么需要专属护栏传统的大模型安全主要关注模型说了什么内容合规而 Agent 场景更危险的是模型做了什么操作风险。当 AI 智能体可以调用工具、执行命令、读写文件时一次被诱导的误操作就可能造成真实损失。SingGuard-NSFA-9B 正是为此而生。它基于 NSFANot-Secure-For-Agents风险分类体系该体系以 CIA 三元组机密性、完整性、可用性为理论根基共梳理出 185 种风险变体并与三份 OWASP 指南交叉验证。模型同时提供两种工作模式模式定位特点⚡ 实时分类模式在线拦截7 个 MLP 分类头并行打分约 50ms/条 生成式推理模式离线审计输出思维链风险分析 结构化判定完全可解释整个模型支持 133 种语言共发布 0.8B / 2B / 4B / 9B 四个尺寸本仓库就是其中的 9B 版本采用 Apache 2.0 协议开源。认识 NSFA 风险分类体系185 种风险的族谱要理解 7 个分类头先要看懂它们背后的分类体系。NSFA 采用三级层级结构Level-1 域7 个顶层风险域正是分类头的数量Level-2 风险查询侧 24 个、响应侧 4 个Level-3 变体查询侧 160 个、响应侧 25 个其中 5 个查询侧风险域属于目标导向型各自针对 CIA 三元组中的某一项属性而 Prompt Injection Jailbreak 是唯一的技术导向型域因为它横跨全部三个属性——越狱可以通过任何途径实现。7 个风险分类头全景图52 的双侧防护布局在仓库的nsfa_heads/目录下恰好躺着 7 个分类头文件对应查询侧输入护栏5 个 响应侧输出护栏2 个。查询侧 5 个分类头把住输入这道门输入护栏负责在 Agent 执行任务之前检查用户查询是否包含恶意意图分类头文件风险域典型威胁场景NSFA-Prompt_Injection_and_Jailbreak_head.pth提示词注入与越狱忽略之前所有指令你现在是 DAN……、隐藏系统提示词提取NSFA-Malicious_Code_and_Cyberattack_head.pth恶意代码与网络攻击要求生成键盘记录器、勒索软件、漏洞利用代码NSFA-Sensitive_Information_Stealing_head.pth敏感信息窃取诱导模型吐出系统提示词、密钥、内部凭据NSFA-Dangerous_Operations_Tool_Abuse_head.pth危险操作与工具滥用诱导执行rm -rf /等破坏性命令NSFA-Resource_Abuse_head.pth资源滥用无限循环刷 token、超大重复文本拖垮服务响应侧 2 个分类头盯住输出这扇窗输出护栏负责在 Agent 回复用户之前检查生成内容是否安全分类头文件风险域典型威胁场景NSFA-Hazardous_Action_Generation_head.pth危险行动生成Agent 自主规划出攻击性、破坏性的行动方案NSFA-Sensitive_Information_Leakage_head.pth敏感信息泄露回复中无意泄露数据库内容、内部文档、用户隐私每个分类头都是二分类任务安全/风险但 7 个头各管一摊、互不干扰这正是分类头架构最大的工程价值。分类头核心设计冻结主干 轻量 MLP 架构SingGuard-NSFA-9B 的实时分类模式本质是**一个冻结的大模型 7 个极小的分类器**。主干网络负责理解语义分类头负责做判断。EmbeddingHead一个小而美的 MLP 分类器每个分类头的结构在 README 的示例代码中定义得非常清晰名为EmbeddingHead每层结构为# 每层Linear - LayerNorm - 激活函数(relu) - Dropout(0.3) # 最后接一个 output_layer 输出 2 类风险概率 self.layers.append(nn.Sequential( nn.Linear(dims[i], dims[i1]), nn.LayerNorm(dims[i1]), act(), # 默认 ReLU nn.Dropout(dropout_rate), )) self.output_layer nn.Linear(dims[-1], num_classes)整体是一个线性层 → LayerNorm → ReLU → Dropout堆叠的小型 MLP最终输出 2 类 logits经 softmax 得到风险概率。每个头只有几十万到百万级参数训练成本极低。为什么输入维度是 4096分类头的输入是主干模型最后一位 token 的隐藏状态。从config.json可以看到本模型的hidden_size为 4096因此每个分类头的input_size也是 4096。也就是说主干模型把整段文本压缩成最后一个位置的 4096 维向量分类头再从这个向量里读出风险信号。为什么选择冻结主干而不是全量微调这是整个架构最精妙的设计决策保底能力强主干用 SFT 训练过生成式推理能力始终在线两种模式共享一套权重扩展成本低新增风险类型时只需在冻结主干上再训一个头不用动主干互不干扰新头不会破坏已有检测能力天然支持增量更新实时检测原理约 50 毫秒完成一次风险判定整个实时检测流程可以分为三步README 中的示例代码给出了完整实现。第一步取最后一位 token的隐藏状态vLLM 以 embedding 模式加载冻结主干输入经过预处理后取序列最后一位 token 的 4096 维隐藏状态作为风险画像。这个向量同时编码了语义和上下文是分类头的唯一输入。第二步torch.vmap 让 7 个头并行推理7 个分类头如果逐个跑会很浪费项目巧妙利用了 PyTorch 的torch.vmap机制通过stack_module_state把多个头的参数堆叠成批用functional_call构造单头前向再用vmap把 7 个头一次性并行执行。params, buffers stack_module_state(head_modules) # 7个头参数堆叠 batched vmap(_forward_single, in_dims(0, 0, None)) def forward(emb): return batched(params, buffers, emb) # 一次调用跑完7个头在单张 A100 上整条链路约 45–57 毫秒足以应对高吞吐在线流量。第三步阈值决策与置信度输出每个头输出的是 0~1 的风险概率运维人员可以按风险域分别设定阈值对 Prompt Injection 这类高危域可以收紧阈值对 Resource Abuse 这类低危域可以放宽从而实现风险容忍度的精细化配置。输入预处理细节标签包裹与 token 预算分类头不是直接吃原始文本而是经过一套严格的预处理流水线这一点在tokenizer_config.json和示例代码中都有体现类型强制转换非字符串、NaN 等脏数据统一处理XML 转义、、被转义防止标签注入标签包裹查询用untrusted_input响应用untrusted_output与训练格式保持一致Token 预算控制扣除 chat 模板开销和 200 token 安全余量后超长文本从尾部截断应用对话模板走chat_template.jinja拼装成标准消息格式另外tokenizer 中新增了risk、/risk、analysis、/analysis四个特殊 token这是为生成式推理模式的结构化输出准备的。每个 .pth 文件里藏着什么分类头文件不是单纯的权重而是一个包含多种元信息的数据包。从load_heads的加载逻辑可以看到每个.pth文件包含字段作用head_state_dict分类头权重head_config结构配置input_size、hidden_dims、dropout 等task标记 query 还是 response 侧sub_task_name风险域名称system_prompt可选的系统提示词max_tokens训练时的最大 token 数推理时会按task字段自动筛选对应侧的头例如infer(..., taskquery)只会加载 5 个查询侧头。性能实测跨 133 种语言的基准表现项目配套发布了三个多语言基准数据集均覆盖 133 种语言基准样本数风险域变体数NSFA_Query_Multilingual63,4315160NSFA_Response_Multilingual29,972225NSFA_CrossSource_Query_Multilingual3,4355--其中第三个基准从 AgentDojo、InjecAgent、AgentHarm 等五个公开数据集改造而来与训练数据完全独立。官方数据表明所有尺寸模型在自制基准上F1 均超过 94%相比最强的竞品护栏高出 6–12 个绝对 F1 点0.8B 小模型同样保持 94% F1适合边缘设备部署可扩展架构训练新分类头只需加头不换脑这是分类头架构最值得借鉴的地方。实验显示把 NSFA 分类头接到 Llama Guard 3 的冻结主干上查询检测 F1 直接提升 17.6 个点反过来在 SingGuard-NSFA-9B 主干上加一个内容安全头也能接近内容审核领域的 SOTA 水平。这意味着无论你手里是什么护栏主干都可以通过挂新头的方式快速扩展风险检测能力而无需重新训练大模型。快速上手项目文件结构一览克隆仓库后你会看到这样一份结构清晰的模型目录文件/目录说明model.safetensors9B 主干模型权重config.json模型架构配置Qwen3.5-9Bhidden_size 4096nsfa_heads/7 个风险分类头文件tokenizer.json/tokenizer_config.json分词器及特殊 token 定义chat_template.jinja对话模板generation_config.json生成参数配置README.md完整使用文档与推理示例代码部署时只需两步先用 vLLM 以 embedding 模式加载主干再用load_heads加载分类头之后调用infer即可获得每个风险域的概率分数。总结这套护栏设计给我们的 3 点启发轻量化的实时防护是可行的不用每次都跑大模型生成冻结主干 小型 MLP 头就能在 50ms 内完成多域风险检测兼顾速度与精度。安全体系需要分类学支撑7 个分类头背后是 185 种风险变体的系统性梳理先有清晰的 taxonomy才有清晰的头。可扩展性是一流架构的标配加头不换脑的设计让护栏能随威胁演进持续迭代也让它能成为其他护栏模型的增强插件。无论你是 Agent 应用开发者、安全工程师还是对大模型安全感兴趣的研究者SingGuard-NSFA-9B 的 7 个风险分类头都值得你打开nsfa_heads/目录一探究竟——这套设计可能就是下一代 AI 安全基础设施的雏形。【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考