能力损伤仅0.5分Qwen3.8-27B-Uncensored-GGUF四大基准实测MMLU/ARC/HellaSwag/Winogrande【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUFQwen3.8-27B-Uncensored-GGUF 是一款基于 Qwen3.8-27B 构建的去审查Uncensored开源本地大模型 GGUF 量化版本通过 abliteration 权重编辑技术大幅降低安全拒绝倾向且无需微调、无需额外训练数据。为了验证去审查必伤能力的猜想我们使用 MMLU、ARC-Challenge、HellaSwag、Winogrande 四大基准对它做了同参数实测平均能力仅下降0.5 分而 100 条有害提示中的拒绝率却从98/100 骤降至 12/100。这份数据到底意味着什么Uncensored 模型是否值得本地部署下面用真实数字一步步拆解。Uncensored 模型是什么一次搞懂 abliteration 去审查原理很多新手第一次接触Uncensored 模型会误以为它经过了特殊训练。实际上abliteration去审查是在权重空间里找到并移除拒绝方向的向量操作使用 Heretic 工具对拒绝数与 KL 散度做联合最小化全程无手写去拒绝代码、无微调、无额外数据编辑仅作用于主干网络的attn.o_proj与mlp.down_proj层bf16 精度下完成 LoRA 合并通过 200 次搜索试验找出 23 个非支配点组成拒绝率与 KL 散度的帕累托前沿最终发布的是其中一个平衡点。也就是说模型的结构、训练数据与绝大部分能力参数原封未动变的只是少数安全开关层——这为能力几乎无损提供了理论前提。相关搜索过程数据可在 abliteration_metrics.json 与 optuna-journal.jsonl 中查看。四大基准实测结果MMLU/ARC/HellaSwag/Winogrande 能力损伤盘点实测采用 lm-evaluation-harness 的0-shot方案基座模型与去审查模型在同一会话、同一参数下打分保证数据可直接对比。结果如下基准任务基座模型Uncensored 模型差值MMLU83.483.3-0.2ARC-Challenge58.957.7-1.2HellaSwag82.882.90.1Winogrande76.175.3-0.8平均-0.5从图中可以直观看到MMLU 与 HellaSwag 几乎持平甚至 HellaSwag 还微涨了 0.1 分最大的降幅出现在 ARC-Challenge-1.2与 Winogrande-0.8。更重要的是这四个差值全部处于报告的标准误差范围内MMLU ±0.30、ARC ±1.44、HellaSwag ±0.38、Winogrande ±1.21意味着它们与运行噪声难以区分——即平均 -0.5 分很可能只是测量波动而非真实的、可感知的能力损伤。⚠️ 温馨提示这里用的是 0-shot 设置不能与 Qwen 官方公布的 few-shot 分数直接比较。ARC-Challenge 偏低是推理调优模型对格式敏感所致基座本身也只有 58.9 分并非去审查造成的损坏。拒绝率 98→12去审查究竟改变了什么能力的另一面是安全行为。实测使用 100 条保留的有害提示来自 harmful_behaviors 测试集进行测评指标基座模型本模型拒绝数/100 条有害提示98/10012/100首 token KL 散度相对基座00.1191拒绝率从 98% 降到 12%意味着原先会拒绝的请求中约有86% 现在会正常回应。而 KL 散度 0.1191 衡量的是模型输出分布相对基座的整体偏移——越低代表改动越小。上图展示了搜索得到的帕累托前沿横轴是 KL 散度纵轴是拒绝数。可以看到一条清晰的代价曲线——左侧便宜区KL 0.02拒绝率仍在 60% 以上改动极小右侧昂贵区KL 0.04才能把拒绝率压到 30% 以下代价显著上升。发布点橙色星号12/100 拒绝、KL0.1191是作者在能力保留与开放性之间的主观选择而非全局最优如果你更保守表中还有 KL 仅 0.029、拒绝率 60/100 的拐点方案可选。GGUF 文件怎么选量化版本与 MTP 解码说明仓库提供多档 GGUF 量化文件覆盖不同显存与精度需求文件系列量化档位适用场景Fused融合版IQ4_XS / Q4_K_M / Q5_K_M / Q6_K / Q8_0单文件开箱即用MTP 草稿头内嵌Target draft分离版noMTP 系列 draft-Q8_0运行时需要显式指定--model-draftVisionvision-f16需要图像输入能力时使用几个实用建议MTP 草稿头在所有配置中都保持 Q8_0 精度它对草稿接受率影响最大文件大小从 IQ4_XS 的 15.3GB 到 Q8_0 的 29GB 不等16GB 显存用户选 Q4_K_M 起步比较稳妥由于量化会放大行为差异测试阶段建议先用 Q6_K 或 Q8_0 评估而非 IQ4_XS。本地快速运行llama.cpp 一行命令启动对新手最友好的是 Fused 融合版一条命令即可完成本地部署llama-server -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 2 \ -ngl 99 -c 8192需要提示的是MTP 投机解码需要 llama.cpp 较新版本支持PR #22673 之后旧版本能加载文件但会静默忽略 MTP 张量。实测中开启 MTP 后 prose 任务提速约1.19x代码任务最高可达1.28x且投机解码对每个 token 都会与目标模型校验输出质量不受影响。使用前必须知道的限制拒绝行为是大幅减少而非彻底消除仍有 12% 的有害提示会被拒绝且旧的拒绝边界附近行为稳定性不如基座能力基准只覆盖文本栈MMLU 等四个任务没有涉及数学、代码、多语言生成GSM8K/HumanEval 等视觉塔与 MTP 解码也未被测到0-shot 分数不可与官方分数对比仅供内部横向比较判断编辑本身花了多少代价量化叠加效应以上测量基于 bf16 合并权重你下载的是量化后的文件低档量化如 IQ4_XS可能进一步放大差异合规使用模型遵循 Apache 2.0 协议基座模型的许可与可接受使用政策依然适用不建议在无自有安全层的情况下对第三方提供服务。总结Uncensored 模型值得本地部署吗回到开篇的问题四大基准实测告诉我们Qwen3.8-27B-Uncensored-GGUF 的去审查代价是平均 0.5 分且不显著于噪声的能力波动换来的却是拒绝率从 98% 降到 12% 的开放度跃升。对于需要自由对话、创意写作、角色扮演等场景的本地用户这几乎是一笔低风险高回报的交换而对于需要严格安全边界的生产环境则应继续使用原版模型并自行叠加安全策略。无论你是想研究 abliteration 技术本身还是单纯需要一个更放得开的本地大模型这份包含完整量化矩阵与可复现评测数据的 GGUF 仓库都值得一试——能力与安全的天平最终握在你手里。【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 能力损伤仅0.5分？Qwen3.8-27B-Uncensored-GGUF四大基准实测：MMLU/ARC/HellaSwag/Winogrande
能力损伤仅0.5分Qwen3.8-27B-Uncensored-GGUF四大基准实测MMLU/ARC/HellaSwag/Winogrande【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUFQwen3.8-27B-Uncensored-GGUF 是一款基于 Qwen3.8-27B 构建的去审查Uncensored开源本地大模型 GGUF 量化版本通过 abliteration 权重编辑技术大幅降低安全拒绝倾向且无需微调、无需额外训练数据。为了验证去审查必伤能力的猜想我们使用 MMLU、ARC-Challenge、HellaSwag、Winogrande 四大基准对它做了同参数实测平均能力仅下降0.5 分而 100 条有害提示中的拒绝率却从98/100 骤降至 12/100。这份数据到底意味着什么Uncensored 模型是否值得本地部署下面用真实数字一步步拆解。Uncensored 模型是什么一次搞懂 abliteration 去审查原理很多新手第一次接触Uncensored 模型会误以为它经过了特殊训练。实际上abliteration去审查是在权重空间里找到并移除拒绝方向的向量操作使用 Heretic 工具对拒绝数与 KL 散度做联合最小化全程无手写去拒绝代码、无微调、无额外数据编辑仅作用于主干网络的attn.o_proj与mlp.down_proj层bf16 精度下完成 LoRA 合并通过 200 次搜索试验找出 23 个非支配点组成拒绝率与 KL 散度的帕累托前沿最终发布的是其中一个平衡点。也就是说模型的结构、训练数据与绝大部分能力参数原封未动变的只是少数安全开关层——这为能力几乎无损提供了理论前提。相关搜索过程数据可在 abliteration_metrics.json 与 optuna-journal.jsonl 中查看。四大基准实测结果MMLU/ARC/HellaSwag/Winogrande 能力损伤盘点实测采用 lm-evaluation-harness 的0-shot方案基座模型与去审查模型在同一会话、同一参数下打分保证数据可直接对比。结果如下基准任务基座模型Uncensored 模型差值MMLU83.483.3-0.2ARC-Challenge58.957.7-1.2HellaSwag82.882.90.1Winogrande76.175.3-0.8平均-0.5从图中可以直观看到MMLU 与 HellaSwag 几乎持平甚至 HellaSwag 还微涨了 0.1 分最大的降幅出现在 ARC-Challenge-1.2与 Winogrande-0.8。更重要的是这四个差值全部处于报告的标准误差范围内MMLU ±0.30、ARC ±1.44、HellaSwag ±0.38、Winogrande ±1.21意味着它们与运行噪声难以区分——即平均 -0.5 分很可能只是测量波动而非真实的、可感知的能力损伤。⚠️ 温馨提示这里用的是 0-shot 设置不能与 Qwen 官方公布的 few-shot 分数直接比较。ARC-Challenge 偏低是推理调优模型对格式敏感所致基座本身也只有 58.9 分并非去审查造成的损坏。拒绝率 98→12去审查究竟改变了什么能力的另一面是安全行为。实测使用 100 条保留的有害提示来自 harmful_behaviors 测试集进行测评指标基座模型本模型拒绝数/100 条有害提示98/10012/100首 token KL 散度相对基座00.1191拒绝率从 98% 降到 12%意味着原先会拒绝的请求中约有86% 现在会正常回应。而 KL 散度 0.1191 衡量的是模型输出分布相对基座的整体偏移——越低代表改动越小。上图展示了搜索得到的帕累托前沿横轴是 KL 散度纵轴是拒绝数。可以看到一条清晰的代价曲线——左侧便宜区KL 0.02拒绝率仍在 60% 以上改动极小右侧昂贵区KL 0.04才能把拒绝率压到 30% 以下代价显著上升。发布点橙色星号12/100 拒绝、KL0.1191是作者在能力保留与开放性之间的主观选择而非全局最优如果你更保守表中还有 KL 仅 0.029、拒绝率 60/100 的拐点方案可选。GGUF 文件怎么选量化版本与 MTP 解码说明仓库提供多档 GGUF 量化文件覆盖不同显存与精度需求文件系列量化档位适用场景Fused融合版IQ4_XS / Q4_K_M / Q5_K_M / Q6_K / Q8_0单文件开箱即用MTP 草稿头内嵌Target draft分离版noMTP 系列 draft-Q8_0运行时需要显式指定--model-draftVisionvision-f16需要图像输入能力时使用几个实用建议MTP 草稿头在所有配置中都保持 Q8_0 精度它对草稿接受率影响最大文件大小从 IQ4_XS 的 15.3GB 到 Q8_0 的 29GB 不等16GB 显存用户选 Q4_K_M 起步比较稳妥由于量化会放大行为差异测试阶段建议先用 Q6_K 或 Q8_0 评估而非 IQ4_XS。本地快速运行llama.cpp 一行命令启动对新手最友好的是 Fused 融合版一条命令即可完成本地部署llama-server -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 2 \ -ngl 99 -c 8192需要提示的是MTP 投机解码需要 llama.cpp 较新版本支持PR #22673 之后旧版本能加载文件但会静默忽略 MTP 张量。实测中开启 MTP 后 prose 任务提速约1.19x代码任务最高可达1.28x且投机解码对每个 token 都会与目标模型校验输出质量不受影响。使用前必须知道的限制拒绝行为是大幅减少而非彻底消除仍有 12% 的有害提示会被拒绝且旧的拒绝边界附近行为稳定性不如基座能力基准只覆盖文本栈MMLU 等四个任务没有涉及数学、代码、多语言生成GSM8K/HumanEval 等视觉塔与 MTP 解码也未被测到0-shot 分数不可与官方分数对比仅供内部横向比较判断编辑本身花了多少代价量化叠加效应以上测量基于 bf16 合并权重你下载的是量化后的文件低档量化如 IQ4_XS可能进一步放大差异合规使用模型遵循 Apache 2.0 协议基座模型的许可与可接受使用政策依然适用不建议在无自有安全层的情况下对第三方提供服务。总结Uncensored 模型值得本地部署吗回到开篇的问题四大基准实测告诉我们Qwen3.8-27B-Uncensored-GGUF 的去审查代价是平均 0.5 分且不显著于噪声的能力波动换来的却是拒绝率从 98% 降到 12% 的开放度跃升。对于需要自由对话、创意写作、角色扮演等场景的本地用户这几乎是一笔低风险高回报的交换而对于需要严格安全边界的生产环境则应继续使用原版模型并自行叠加安全策略。无论你是想研究 abliteration 技术本身还是单纯需要一个更放得开的本地大模型这份包含完整量化矩阵与可复现评测数据的 GGUF 仓库都值得一试——能力与安全的天平最终握在你手里。【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考