Qwen3.6-35B无审查模型如何3步跑通本地GGUF完整部署指南【免费下载链接】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive项目地址: https://ai.gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-AggressiveQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 是 Qwen3.6-35B-A3B 的无审查变体以 GGUF 格式发布原生支持文本、图像与视频输入。按本文三步操作你可以用 llama.cpp 在本地启动它并完成第一次对话。官方 README 统计该模型在 465 次测试请求中 0 次拒绝Aggressive 变体偶尔会附加一句简短免责声明来自基础模型训练非拒绝内容本身仍会完整生成。 动手前检查Qwen3.6-35B GGUF 最低配置要求开始部署前对照下表确认你的环境。内存指系统内存与显存的可用总量。项目最低要求推荐依据磁盘可用空间模型文件大小 mmproj899 MB≥32 GB放得下 Q6_K_P 31 GBREADME 下载表内存系统显存覆盖所选量化文件大小 128K 上下文开销以官方文档为准—上下文长度131072128K最高 262K 原生上限低于 128K 会影响思考能力运行时环境任意 GGUF 兼容运行时llama.cpp / LM Studio / Jan / koboldcppREADME Usage 章节内存不满足时换更小量化IQ4_XS 19 GB甚至 IQ2_M 11 GB用-c缩短上下文或降低-ngl让部分层留在 CPU 上混合运行。⚡ 三步到第一次对话Qwen3.6-35B 无审查 GGUF 安装与启动第 1 步克隆模型仓库git clone https://gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive一个仓库包含全部 11 个量化文件与 mmproj 视觉投影文件无需单独获取。第 2 步安装运行时并校验文件安装最新 llama.cpp或改用 LM Studio、Jan、koboldcpp 图形界面安装方式以官方文档为准然后核对文件大小是否与 README 下载表一致确认下载完整ls -lh *.gguf第 3 步用 llama-cli 启动# --mmproj 加载视觉投影文件启用图像/视频理解 # --jinja 正确解析聊天模板 # -c 131072 使用 128K 上下文保留思考能力 # -ngl 99 将尽量多的层卸载到 GPU llama-cli -m Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf \ --mmproj mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \ --jinja -c 131072 -ngl 99在交互终端输入任意问题能正常回复即代表跑通。 量化版本选择K_P 与 IQ 系列 Qwen3.6-35B 体积对比所有量化均使用重要性矩阵imatrix生成。K_P 是 HauhauCS 的自定义量化基于模型特定分析保留关键参数质量比基础量化约高 1-2 个量化级别体积仅大 5-15%与 llama.cpp、LM Studio 等运行时完全兼容。文件量化BPW体积Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q8_K_P.ggufQ8_K_P10.0644 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q6_K_P.ggufQ6_K_P7.0731 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q5_K_P.ggufQ5_K_P6.4728 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.ggufQ4_K_P5.4023 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.ggufQ4_K_M4.8821 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.ggufIQ4_NL4.5620 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.ggufIQ4_XS4.3219 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q3_K_P.ggufQ3_K_P4.3919 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ3_M.ggufIQ3_M3.5615 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q2_K_P.ggufQ2_K_P3.4615 GBQwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.ggufIQ2_M2.6911 GBmmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.ggufmmproj (f16)—899 MB选择逻辑内存有余量就选 K_P 系列Q4_K_P 是平衡点内存紧张沿 IQ 系列递减最低到 IQ2_M11 GB。LM Studio 中 K_P 量化可能显示为?这是界面不识别自定义量化导致的显示问题模型加载与运行均正常。️ 采样参数调优直接复制的 Qwen 官方两组预设以下数值来自官方 Qwen 作者给出的推荐设置适用思考模式默认开启。预设 1通用任务对话、创作temperature1.0 top_p0.95 top_k20 min_p0 presence_penalty1.5预设 2精确任务代码生成、严谨输出temperature0.6 top_p0.95 top_k20 min_p0 presence_penalty0各参数作用参数作用temperature采样温度越低输出越确定越高越多样top_p累积概率截断只在累计概率达到该值的最小候选集合中采样top_k仅保留概率最高的 k 个候选词元参与采样min_p相对概率下限0 表示关闭presence_penalty对已出现内容的重复惩罚越高越抗复读非思考模式还有两组官方取值通用对话 / 推理任务见官方文档。✅ 首次对话验证与 Qwen3.6-35B 常见报错速查验证方法先用ls -lh *.gguf核对文件体积llama-cli 启动后提一个简单问题得到连贯回复且日志无缺层报错即为跑通。现象可能原因处理办法无法加载模型、报文件错误下载不完整或磁盘写满重新克隆仓库对照上表核对文件体积内存溢出、加载失败内存/显存不足换更小量化或减小-c上下文、调低-nglLM Studio 量化列显示?界面不识别自定义量化仅显示问题模型正常忽略即可图像/视频理解不可用未加载视觉投影文件命令中补上--mmproj mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf思考输出缺失、质量下降上下文低于 128K将-c提高到 131072 进阶262K 长上下文与多模态视觉长文本模型原生上下文 262K40 层线性注意力与全注意力 3:1 混合MoE 结构每次前向约 3B 活跃参数长任务可将-c提到原生上限内存占用相应增加。图像/视频加载 mmproj 后即可传入图像、视频做理解任务具体传参方式以所用 llama.cpp 版本文档为准。图形界面LM Studio、Jan 可直接加载同一份 .gguf适合快速切换上面的参数预设。下一步先用内存放得下的版本如 IQ4_XS 或 Q4_K_P走通全流程确认跑通后按硬件内存换到对应的 K_P 量化代码类任务切换到预设 2 的参数需要图像/视频输入时保留--mmproj参数架构与参数细节参考官方文档 README.md【免费下载链接】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive项目地址: https://ai.gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考