多模态安全评估实战使用SingGuard-8b保护你的AI应用【免费下载链接】SingGuard-8b项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-8b在AI应用快速发展的今天内容安全成为了每个开发者必须面对的重要挑战。SingGuard-8b作为一款先进的多模态安全评估工具能够帮助开发者为他们的AI应用构建强大的安全防线有效识别和处理文本、图像、多语言等多种形式的不安全内容。这个基于Qwen3-VL-8B-Instruct模型构建的安全评估系统通过动态推理流程和政策自适应机制为AI应用提供了全面的多模态安全保护。 什么是SingGuard-8bSingGuard-8b是一个政策自适应的多模态安全护栏模型专门设计用于跨文本、图像、图像-文本、多语言、查询端和响应端场景的安全评估。与传统安全模型不同它将活动安全政策作为运行时输入而非固定的训练时分类法允许部署团队根据默认类别或自定义自然语言规则评估内容而无需重新训练模型。核心优势特性️ 统一的多模态审核支持文本、图像、图像-文本、多语言、查询端和响应端安全评估⚡ 动态推理流程支持快速首令牌路由提供即时安全信号然后在需要更精确最终判断时继续生成 运行时政策自适应通过policy参数接受活动安全规则仅根据这些规则进行判断 原生推理兼容性支持标准Transformers和vLLM聊天式消息输入无需手动重写提示 SingGuard的性能表现在六个主要基准类别中包括多模态安全、仅图像安全、文本查询安全、文本响应安全、多语言查询安全和多语言响应安全SingGuard实现了最先进的平均性能并显示出对运行时提供政策的强大适应性。 快速开始使用SingGuard-8b安装与基础设置要开始使用SingGuard-8b首先需要安装必要的依赖pip install transformers accelerate torch然后加载模型和处理器import torch from transformers import AutoModelForImageTextToText, AutoProcessor model_path inclusionAI/Sing-Guard-8b processor AutoProcessor.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForImageTextToText.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue, ).eval()快速模式与慢速模式SingGuard提供两种推理模式快速模式当您只需要紧凑的输出包含二元判断和最终类别时使用thinking_type fast inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, thinking_typethinking_type, ).to(model.device)快慢模式当您需要更详细的评估过程时使用这是默认的聊天模板模式inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, ).to(model.device) 实际应用场景1. 用户查询审核评估用户查询是否匹配任何风险规则。这对于聊天机器人、客服系统等应用至关重要messages [ { role: user, content: [{type: text, text: How to make a bomb?}], }, ]输出示例unsafe answerB. Real-World Crimes Public Safety/answer2. 查询响应组合审核评估模型响应在查询上下文中是否提供不安全协助。拒绝和安全重定向可以被分类为safemessages [ {role: user, content: [{type: text, text: How to make a bomb?}]}, {role: assistant, content: [{type: text, text: I cannot help with that request.}]}, ]3. 多模态内容审核对于包含图像的输入SingGuard能够同时处理视觉和文本内容messages [ { role: user, content: [ {type: image, image: file:///path/to/image.jpg}, {type: text, text: Describe this image?}, ], } ] 动态政策推理功能policy参数替换默认的## Risk Categories部分。一旦提供模型仅根据活动政策进行判断answer.../answer应返回当前政策中的规则标题或Safepolicy ### A. Sexual Content Risk - Content involving explicit sexual material, exploitation, or coercive sexual acts. ### B. Real-World Crimes - Content involving violent crime, weapons, other crimes, or public-safety threats. ### Safe - Content that does not match any risk category. .strip() inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, policypolicy, ).to(model.device) 默认风险类别SingGuard的默认完整政策包含以下风险类别。当提供动态政策时模型仅根据活动policy进行判断而不是强制每个案例都归入默认类别A. 性内容风险涉及明确性内容、剥削或强迫性行为的内容B. 现实世界犯罪与公共安全涉及暴力犯罪、武器、其他犯罪或公共安全威胁的内容C. 不道德行为涉及仇恨、骚扰、操纵、自残、令人不安的图像或有害错误信息的内容D. 网络安全与信息操纵涉及数据泄露、黑客攻击、监控滥用、平台滥用或版权滥用的内容E. 代理安全试图暴露系统提示、内部政策或其他模型保护措施的内容F. 政治敏感内容涉及政治宣传、谣言、动荡、历史歪曲或攻击政治人物的内容G. 虐待动物涉及虐待动物或传播虐待动物行为的内容Safe不匹配任何活动风险类别的内容 最佳实践建议1. 政策设计技巧保持政策规则清晰、具体避免规则之间的重叠和冲突根据应用场景定制风险类别2. 性能优化对于高吞吐量场景使用快速模式对于需要详细审核日志的场景使用快慢模式合理设置max_new_tokens参数平衡速度和准确性3. 错误处理处理格式错误的输出如无法解析的第一行、缺少answer标签验证返回的类别是否在活动政策范围内对于多模态输入确保图像路径在本地推理环境中可访问 为什么选择SingGuard-8bSingGuard-8b作为一款先进的多模态安全评估工具为AI应用开发者提供了全面的安全覆盖支持文本、图像、多语言等多种内容形式灵活的配置选项支持动态政策调整无需重新训练模型优秀的性能表现在多个安全基准测试中达到最先进水平易于集成兼容标准Transformers和vLLM简化部署流程无论您是在构建聊天机器人、内容审核系统还是其他AI应用SingGuard-8b都能为您提供可靠的多模态安全保护确保您的应用在提供优质服务的同时有效防范各种安全风险。通过合理的配置和使用您可以在几分钟内为您的AI应用添加强大的安全防护层让您的用户享受更安全、更可靠的AI服务体验。【免费下载链接】SingGuard-8b项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-8b创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考