NVIDIA昨天发了一条推文宣布与行业伙伴共同发起开放安全AI联盟。目标是共享模型、工具和研究成果推动AI安全技术的发展。原文很短但信息量不小。When the industry builds in the open, together——这个表述本身就很有意思。过去两年AI安全的讨论基本被几家闭源公司主导。OpenAI有red teaming框架Anthropic有constitutional AIGoogle有安全AI框架。每家都在说自己怎么做安全但没人真正共享过底层工具。现在NVIDIA选择了一条不一样的路。开放安全 听起来很美说实话AI安全问题这两年越来越复杂。模型越做越大攻击面跟着膨胀。从最开始的提示注入prompt injection到后面的模型窃取model stealing再到最近越来越活跃的对抗样本攻击——攻击者盯上AI系统已经不是什么新鲜事了。我看过一些企业的安全部署日志其中一个案例很有意思一家金融公司部署了开源模型做客服上线第三天就有人通过精心构造的输入绕过了内容过滤诱导模型输出了内部API的调用方式。翻了下原文的细节——不是模型本身不安全而是模型和外部系统之间的接口没有任何访问控制。这个案例说明了什么AI安全绝不只是模型本身安不安全的问题。它涉及整个系统链路输入过滤、输出校验、API鉴权、数据隔离、审计日志。NVIDIA的开放联盟想解决的就是这个问题。他们提出的方向是共享防护技术和工具集让安全能力不再是每个团队各自造轮子。闭源安全工具的困境但问题来了。闭源AI公司做安全有一个结构性问题他们的安全工具只在自己的模型上验证过。打个比方OpenAI的red teaming工具是为GPT系列设计的拿到Llama上好不好用没人知道。Google的AI安全框架深度绑定Cloud Vertex AI企业自建的模型能不能用得大量适配。这里有一个被忽视的细节真正需要AI安全工具的其实是那些用开源模型自己搭建系统的中小企业。它们没有专门的red team没有安全研究员能依赖的就是社区共享的工具和最佳实践。闭源厂商的安全方案对它们来说门槛太高、适配成本太大。盯着一组数据看了好一会根据Mandiant去年的报告超过60%的AI相关安全事件发生在使用开源模型的企业中。不是因为开源模型更不安全而是因为——说白了——用开源模型的团队往往是技术团队直接上手没有安全团队介入。开放联盟能改变什么NVIDIA这个联盟的核心逻辑是安全能力应该像开源软件一样可以被共享、审查和改进。举个例子如果联盟成员共享了一个针对RAG系统的安全测试套件任何企业都能拿它来测试自己的检索增强生成应用是否容易受到数据投毒攻击。这种共享比起每个企业自己写测试脚本效率高太多了。但事情没有这么简单。开放AI安全有一个天然矛盾你共享的安全工具本身也可能被攻击者利用。如果一个检测提示注入的工具被公开了攻击者可以研究它、绕过它。我看到NVIDIA的推文里用了building in the open这个词而不是open source。可能是故意的——不是把所有安全工具都开源而是在一个可信联盟内部共享。怎么说呢这介于开源和闭源之间的第三种路线也许是目前最务实的方案。对开发者的影响对普通开发者来说这个联盟最大的价值在于以后部署AI系统不用从零开始搭安全体系了。以前部署模型 → 上线 → 出问题 → 补安全。现在如果联盟的工具有了部署模型 → 跑安全检测套件 → 修复问题 → 上线。这个流程变化对于没有专门安全团队的中小团队来说意义很大。但真正麻烦的是后面安全不是一次性工程模型更新了、数据集变了、接口改了攻击面都会跟着变化。持续的安全测试怎么做合规审计怎么自动化这些才是长期的工程问题。关于维基框架维基框架关注企业应用开发中的长期维护问题。在实际项目中业务系统往往同时涉及权限、微服务、接口协议、部署环境等复杂因素因此我们希望提供一套更容易扩展和维护的基础框架。官网framewiki.comGiteegitee.com/wiki-frameworkGitHubgithub.com/wiki-framework示例项目gitee.com/cdkjframework/framewiki-example 许可证MulanPSL-2.0木兰宽松许可证第2版