Qwen3.6-35B-A3B-uncensored-heretic 三档显存部署实战【免费下载链接】Qwen3.6-35B-A3B-uncensored-heretic项目地址: https://ai.gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic你想把 Qwen3.6-35B-A3B-uncensored-heretic 真正跑起来但不确定显存要多少、参数该改哪几个。按这条路径走先定硬件再启推理引擎然后精调六个参数最后解决三个高频故障每一步都能直接执行。项目速览 部署前先看三个数拒绝率比原版降低 88%83/100 降到 10/100KL 散度衡量输出与原版模型的距离越小质量损失越小仅 0.0015原生支持 262K 上下文。它基于 35B 总参、3B 激活的 MoEMixture of Experts混合专家结构每个 token 只有部分专家实际参与计算用 Heretic v1.2.0 与 MPOA保持权重幅度、削弱拒绝方向的方法做消融处理权重默认 bfloat16 存储。先定硬件再跑模型 如果你手里只有一张消费级显卡先别拉 bf16 权重70GB 的体积单卡放不下。按显存量级对号入座16GB 档4-bit GGUF 量化版GGUFllama.cpp 生态常见的量化权重格式 llama.cpp 本地跑。4-bit 把权重压到 20GB 上下给 KV 缓存key-value cache生成时缓存的中间状态留出余量后单卡可跑 32K 上下文。32GB 档8-bit 量化单卡运行上下文放到 128K。质量损失小覆盖绝大多数场景。80GB 档8×A100/H100bf16 全精度张量并行 8把模型切分到 8 张卡上并行计算吃满 262K 上下文还能叠加 MTP 加速生产环境的顶配。推理引擎部署实战 权重落盘后选引擎。SGLang 与 vLLM 都提供 OpenAI 兼容 API下面命令可直接复制运行版本分别 ≥0.5.10 与 ≥0.19.0git clone https://gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-hereticSGLang推荐场景追求最高吞吐、需要连续批处理continuous batching把多个请求合并成一个批次推理时选它python -m sglang.launch_server --model-path ./Qwen3.6-35B-A3B-uncensored-heretic --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3vLLM推荐场景显存效率优先、要稳定生产 API 时选它vllm serve ./Qwen3.6-35B-A3B-uncensored-heretic --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3只用纯文本的话给 vllm 加上--language-model-only跳过视觉编码器省出的显存留给 KV 缓存。六个参数逐条精调 ⚙️服务起来之后输出行为还有一半在你手里。前三个在 generation_config.json后三个在 config.json。temperature采样随机性调节默认值1.0推荐值精确编码任务 0.6通用思考模式保持 1.0适用场景要确定性强的代码补全就调低要发散头脑风暴可提到 1.2top-p质量与多样性平衡默认值0.95推荐值非思考直答模式 0.8思考模式 0.95适用场景数值越低输出越集中适合 API 化、格式固定的回答top-k代码生成候选池扩展默认值20推荐值通用 20代码生成 50适用场景k 越大每步可选候选越多代码任务放宽普通对话保持 20layer_types3:1 混合注意力保持默认值40 层每组 3 层 linear_attention 1 层 full_attention推荐值保持默认适用场景线性注意力linear attention对长序列计算量近似恒定是 262K 上下文省算力的来源改比例前先做质量与速度双重验证num_experts_per_tok质量与算力平衡默认值8256 个专家中每 token 激活 8 个路由专家另有 1 个共享专家推荐值8适用场景离线评测、低并发场景可试 16参与专家变多每 token 算力开销同步上升max_position_embeddings上下文显存优化默认值262144推荐值OOM 时降为 131072适用场景官方支持扩展至 1,010,000 tokens 但显存随之上升长度下限建议 128K再低思考能力会打折量化档位与 CPU 加速 如果你买不起大卡下一个选择是量化或混合推理。如果你在 16GB 消费卡跑本地助手则选 4-bit GGUF 量化质量最接近原版个人场景够用。如果你面向生产环境且显存 32GB 以上则选 8-bit 量化质量与显存平衡性价比最高的一档。如果你要做评测或必须全精度则选 16-bitbfloat16需要 70GB 显存只适合多卡张量并行。如果你没有 GPU 或想释放 GPU 显存则用 KTransformers 做 CPU-GPU 混合推理部分层卸载到内存export OMP_NUM_THREADS$(($(nproc)/2))线程数设为核心数一半避免过度调度再启用 hugepages大页内存减少内存访问延迟可进一步降低卡顿。作者另发布了配套的 GGUF 量化仓库在 HuggingFace 搜 Qwen3.6-35B-A3B-uncensored-heretic-GGUF 即可。三个高频故障三行解决 ️你部署路上大概率会撞上的是这三件事Q启动或长上下文生成时 OOMout-of-memory显存耗尽A把上下文降到 131072 再试仍 OOM 就调低--mem-fraction-static或换 8-bit 量化。长度别低于 128K思考能力会打折。Q推理速度不达标A先确认张量并行是否生效单卡跑 35B MoE 本来就慢8 卡可开 MTPmulti-token prediction模型一次预测多个 token投机解码再用 nvidia-smi 看 GPU 利用率是否超过 90%。Q输出质量劣化比原版更容易拒答或更啰嗦A恢复 temperature1.0、top_p0.95、top_k20 复测确认权重是 heretic 版而非混入原版文件4-bit 量化就升到 8-bit。一句话行动建议 ✅今天只做一件事git clone 拉权重用上面的 vLLM 命令起一个 8-bit 服务API 能通就算部署完成。【免费下载链接】Qwen3.6-35B-A3B-uncensored-heretic项目地址: https://ai.gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Qwen3.6-35B-A3B-uncensored-heretic 三档显存部署实战
Qwen3.6-35B-A3B-uncensored-heretic 三档显存部署实战【免费下载链接】Qwen3.6-35B-A3B-uncensored-heretic项目地址: https://ai.gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic你想把 Qwen3.6-35B-A3B-uncensored-heretic 真正跑起来但不确定显存要多少、参数该改哪几个。按这条路径走先定硬件再启推理引擎然后精调六个参数最后解决三个高频故障每一步都能直接执行。项目速览 部署前先看三个数拒绝率比原版降低 88%83/100 降到 10/100KL 散度衡量输出与原版模型的距离越小质量损失越小仅 0.0015原生支持 262K 上下文。它基于 35B 总参、3B 激活的 MoEMixture of Experts混合专家结构每个 token 只有部分专家实际参与计算用 Heretic v1.2.0 与 MPOA保持权重幅度、削弱拒绝方向的方法做消融处理权重默认 bfloat16 存储。先定硬件再跑模型 如果你手里只有一张消费级显卡先别拉 bf16 权重70GB 的体积单卡放不下。按显存量级对号入座16GB 档4-bit GGUF 量化版GGUFllama.cpp 生态常见的量化权重格式 llama.cpp 本地跑。4-bit 把权重压到 20GB 上下给 KV 缓存key-value cache生成时缓存的中间状态留出余量后单卡可跑 32K 上下文。32GB 档8-bit 量化单卡运行上下文放到 128K。质量损失小覆盖绝大多数场景。80GB 档8×A100/H100bf16 全精度张量并行 8把模型切分到 8 张卡上并行计算吃满 262K 上下文还能叠加 MTP 加速生产环境的顶配。推理引擎部署实战 权重落盘后选引擎。SGLang 与 vLLM 都提供 OpenAI 兼容 API下面命令可直接复制运行版本分别 ≥0.5.10 与 ≥0.19.0git clone https://gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-hereticSGLang推荐场景追求最高吞吐、需要连续批处理continuous batching把多个请求合并成一个批次推理时选它python -m sglang.launch_server --model-path ./Qwen3.6-35B-A3B-uncensored-heretic --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3vLLM推荐场景显存效率优先、要稳定生产 API 时选它vllm serve ./Qwen3.6-35B-A3B-uncensored-heretic --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3只用纯文本的话给 vllm 加上--language-model-only跳过视觉编码器省出的显存留给 KV 缓存。六个参数逐条精调 ⚙️服务起来之后输出行为还有一半在你手里。前三个在 generation_config.json后三个在 config.json。temperature采样随机性调节默认值1.0推荐值精确编码任务 0.6通用思考模式保持 1.0适用场景要确定性强的代码补全就调低要发散头脑风暴可提到 1.2top-p质量与多样性平衡默认值0.95推荐值非思考直答模式 0.8思考模式 0.95适用场景数值越低输出越集中适合 API 化、格式固定的回答top-k代码生成候选池扩展默认值20推荐值通用 20代码生成 50适用场景k 越大每步可选候选越多代码任务放宽普通对话保持 20layer_types3:1 混合注意力保持默认值40 层每组 3 层 linear_attention 1 层 full_attention推荐值保持默认适用场景线性注意力linear attention对长序列计算量近似恒定是 262K 上下文省算力的来源改比例前先做质量与速度双重验证num_experts_per_tok质量与算力平衡默认值8256 个专家中每 token 激活 8 个路由专家另有 1 个共享专家推荐值8适用场景离线评测、低并发场景可试 16参与专家变多每 token 算力开销同步上升max_position_embeddings上下文显存优化默认值262144推荐值OOM 时降为 131072适用场景官方支持扩展至 1,010,000 tokens 但显存随之上升长度下限建议 128K再低思考能力会打折量化档位与 CPU 加速 如果你买不起大卡下一个选择是量化或混合推理。如果你在 16GB 消费卡跑本地助手则选 4-bit GGUF 量化质量最接近原版个人场景够用。如果你面向生产环境且显存 32GB 以上则选 8-bit 量化质量与显存平衡性价比最高的一档。如果你要做评测或必须全精度则选 16-bitbfloat16需要 70GB 显存只适合多卡张量并行。如果你没有 GPU 或想释放 GPU 显存则用 KTransformers 做 CPU-GPU 混合推理部分层卸载到内存export OMP_NUM_THREADS$(($(nproc)/2))线程数设为核心数一半避免过度调度再启用 hugepages大页内存减少内存访问延迟可进一步降低卡顿。作者另发布了配套的 GGUF 量化仓库在 HuggingFace 搜 Qwen3.6-35B-A3B-uncensored-heretic-GGUF 即可。三个高频故障三行解决 ️你部署路上大概率会撞上的是这三件事Q启动或长上下文生成时 OOMout-of-memory显存耗尽A把上下文降到 131072 再试仍 OOM 就调低--mem-fraction-static或换 8-bit 量化。长度别低于 128K思考能力会打折。Q推理速度不达标A先确认张量并行是否生效单卡跑 35B MoE 本来就慢8 卡可开 MTPmulti-token prediction模型一次预测多个 token投机解码再用 nvidia-smi 看 GPU 利用率是否超过 90%。Q输出质量劣化比原版更容易拒答或更啰嗦A恢复 temperature1.0、top_p0.95、top_k20 复测确认权重是 heretic 版而非混入原版文件4-bit 量化就升到 8-bit。一句话行动建议 ✅今天只做一件事git clone 拉权重用上面的 vLLM 命令起一个 8-bit 服务API 能通就算部署完成。【免费下载链接】Qwen3.6-35B-A3B-uncensored-heretic项目地址: https://ai.gitcode.com/hf_mirrors/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考