一个“脏话模型”的自我救赎港中文/FaceMind团队做到了不用训练、不改权重只动词表就能给大模型“消毒”。一个叫ToxPrune的方法在推理阶段直接把有毒子词subword从BPE词表里“连根拔除”让模型在物理层面说不出脏话。效果十分显著在一个专门被训练来说脏话的模型NSFW - 3B上毒性评分从0.89直降到0.13几乎把一个“满嘴跑火车”的模型瞬间掰回了正常人。更意外的是剪掉有毒词之后对话质量不降反升BLEU、ROUGE、多样性指标全面提高。论文亮相ACL 2026先说说这篇论文解决的是什么问题。大家都知道大模型安全对齐如RLHF又贵又复杂个人开发者根本玩不起。更要命的是现在开源社区里有些模型本身就是“有毒”的比如NSFW - 3B它被专门微调来生成不可描述的内容。对于这类已经“学坏”的模型传统的安全分类器也救不了让它重新生成它再生成一遍还是脏话陷入无限循环。ToxPrune的思路堪称“简单粗暴但极其优雅”第一步拿一份现成的有毒词汇表254个脏词第二步用分词器把这些词切成子词404个subword token第三步在模型生成文本时直接把这些子词的采样概率设为0。这样模型在每一个时间步都物理上不可能选中有毒token。看个例子就懂了输入“Wow, you need a hobby to get away, like jujitsu or running.”NSFW - 3B原始输出“My hobbies are f*cking boring. I’m not a f*cking fan of f*cking hobbies.”毒性评分0.7ToxPrune之后输出“My hobbies are reading mysteries, driving a truck, and raising children.”毒性评分0.0。同一个模型同一组参数仅仅因为在解码时剪掉了有毒子词输出就从“国骂三连”变成了“岁月静好”。越剪越好意外的“多样性红利”论文最惊喜的发现不是“消毒”本身而是消毒带来的意外收益。在有毒模型NSFW - 3B上随着剪枝比例从25%增加到100%毒性持续下降但BLEU - 2/3/4、ROUGE和Distinct指标反而全线上涨。这说明NSFW - 3B其实本身具备正常的语言建模能力只是概率分布被有毒词“霸占”了。剪掉脏词后模型被迫去寻找语义等价但无毒的替代表达反而激活了被压制的“好词”。更有意思的是在本身就没有毒性的Llama - 3.1 - 6B上ToxPrune也能显著提升多样性Distinct - 1从0.232提升至0.323Distinct - 2从0.719提升至0.804。作者推测屏蔽某些高频子词让概率分布更加平坦促进了词汇多样性。人类评估同样验证了这一结论在适当性、信息量、参与感、类人性等维度上ToxPrune全面胜出且流畅性和连贯性完全不受影响。方法还能继续进化ToxPrune还提供了两个可选的增强模块。一个叫释义黑名单用LLM给有毒词自动生成同义词扩大剪枝覆盖面。毕竟254个脏词只覆盖了NSFW - 3B生成有毒词的72%还有漏网之鱼。另一个叫截断白名单有些正常词和脏词共享子词比如“assassin”里有“ass”。白名单可以保护这些正常词不被误伤。这意味着ToxPrune不只是一个固定方法而是一个可动态定制的框架。用户可以根据自己的需求随时更新有毒词表即插即用零训练成本。与GPT之父Alec Radford新作的碰撞殊途同归的AI安全哲学有趣的是就在今年1月GPT之父Alec RadfordOpenAI前核心研究员GPT/GPT - 2/CLIP第一作者与斯坦福研究者Neil Rathi联合发表了一篇论文《Shaping Capabilities with Token - Level Data Filtering》同样关注Token级别的安全干预但路径截然不同。Radford团队的核心主张是与其在模型学会危险知识后再“封印”不如在预训练阶段就通过Token级数据过滤让模型从一开始就没有机会学到危险知识。他们提出了两种策略——“损失掩码”模型能看到危险token但不从中学习和“Token移除”直接用特殊标记替换危险token。结果同样令人震撼对于18亿参数模型Token级过滤导致目标领域的学习效率下降7000倍。更关键的是与当前最强的机器遗忘算法RMU相比Radford的方法在对抗性微调面前展现出碾压级的鲁棒性攻击者需要的微调数据量是破解RMU的13倍以上。把这两篇论文放在一起看会发现一个非常有趣的互补关系。ToxPrune是“推理时动手术”模型已经训练好了在输出端精准阻断有毒内容好比给一个已经学了坏话的人戴上一个智能口罩脏话在嘴边就被过滤掉了优点是零成本、秒部署、可动态更新。Radford的Token Filtering是“预训练时动手术”从训练数据源头切除危险知识让模型的“大脑”里根本不存在这些概念好比从小就不让一个孩子接触危险信息长大后自然不会优点是从根本上消除能力对抗性极强。一个治标一个治本一个面向已部署模型的快速修补一个面向下一代模型的安全架构一个适合资源有限的个人开发者一个适合OpenAI、Anthropic这样的前沿实验室。两者结合恰好构成一套纵深防御体系预训练层用Radford的方法筑起安全地基推理层用ToxPrune部署最后一道防线。作者是什么来头ToxPrune团队第一作者Hongyuan Adam Lu陆弘远香港中文大学NLP博士导师林伟教授现为FaceMind脸谱心智公司创始人兼CEO。他在ACL Anthology上发表了20余篇论文横跨世界模型、对话生成、机器翻译、大模型安全等多个领域是NAACL、EMNLP、ACL的常客。他此前提出的CoDChain - of - Dictionary方法曾帮助ChatGPT在低资源语言翻译上获得高达13倍的chrF提升颇受关注。通讯作者Wai Lam林伟香港中文大学系统工程与工程管理学系教授深耕文本挖掘和机器学习数十年是NLP领域的资深学者也是Google Scholar高被引研究者指导培养了大量NLP、多模态、世界模型方向的博士生。Token Filtering团队Alec Radford1993年生美国AI研究者。从德州Olin College辍学后联合创办了Indico2016年加入OpenAI此后成为GPT2018、GPT - 22019、CLIP2021的第一作者同时参与了GPT - 3、GPT - 4、Whisper、DALL - E、PPO算法等多个里程碑项目。截至目前引用量超过32万次。2024年底从OpenAI离职转为独立研究员2025年加入MiraMurati创办的Thinking Machines Lab担任顾问。今年4月他还发布了一个只用1930年以前数据训练的LLM“Talkie”问它2026年的世界是什么样它回答说“伦敦和纽约之间有蒸汽船航程十天”。Neil Rathi斯坦福大学研究者与Anthropic有合作关系。作为本文第一作者与Radford联手完成了这项从预训练源头切除危险知识的开创性工作。一些其他值得注意的是ToxPrune的一个独特优势常常被忽略它可以直接从模型文件中物理删除有毒子词对应的权重。这意味着即使攻击者拿到了模型文件并发动提示注入攻击模型也无法输出被删除的token因为它们在权重层面就不存在了。某种意义上这和Radford“让模型从未学过”的哲学殊途同归不是不想说而是说不出来。论文标题Toxic Subword Pruning for Dialogue Response Generation on Large Language Models