【本文作者Troy】1.QwenQwen3.5是阿里云通义千问团队发布的新一代开源大模型系列是提供基础智能能力的“大脑”。主要是作为基础模型本身具备强大的文本生成、复杂推理、多模态理解如图像、视频和工具调用等能力。适用于希望直接使用高性能大模型或将其作为基座进行二次开发的个人、研究者和企业。可访问魔搭社区https://www.modelscope.cn/models?nameqwen3.5page1tabKeytaskQwen3.5 具备以下增强特性统一的视觉-语言基础在多模态 token 上进行早期融合训练在推理、编码、智能体和视觉理解等基准测试中跨代际表现与 Qwen3 持平并优于 Qwen3-VL 模型。高效混合架构门控 Delta 网络与稀疏混合专家Mixture-of-Experts相结合实现高吞吐推理同时保持极低延迟和成本开销。可扩展的强化学习泛化能力在百万级智能体环境中进行强化学习训练任务分布逐步复杂化从而获得强大的现实世界适应能力。全球语言覆盖支持扩展至 201 种语言和方言实现包容性的全球部署并具备细致入微的文化与区域理解能力。下一代训练基础设施相比纯文本训练多模态训练效率接近 100%并采用异步强化学习框架支持大规模智能体脚手架和环境编排。文件名其中B代表billion即十亿指的是模型的参数量例如2B参数量为20亿一般来说参数量越大的模型其“记忆体”和“计算单元”越多能够学习到的知识更丰富处理复杂逻辑推理的能力也越强。参数量也直接决定了运行这个模型所需要的内存显存和存储空间。考虑到本地个人电脑无独显硬件配置此处选择【Qwen3.5-0.8B-GGUF】举例子详情见https://www.modelscope.cn/models/unsloth/Qwen3.5-0.8B-GGUF/summary其中【模型介绍】描述基准测试结果关于不同模型间的比较可自行阅读点击【下载模型】个人觉得【命令行下载】较方便遂执行命令行文件默认下载至【C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3___5-0___8B-GGUF】GGUF是一种专为大型语言模型LLM设计的二进制文件格式全称是GPT-Generated Unified FormatGPT生成统一格式。可以理解为一个经过高度优化和打包的模型“压缩包”其核心目标就是让庞大的AI模型能在普通电脑上更快地加载和运行。Qwen3.5-0.8B-Q4_K_M.gguf (推荐)平衡性最好质量与大小的黄金比例适用于日常对话、文本生成兼顾速度和效果Qwen3.5-0.8B-Q3_K_S.gguf (高速)文件最小运行最快但质量略有下降Qwen3.5-0.8B-Q5_K_M.gguf (高质量)质量更好接近原始模型但文件稍大占用内存更多不建议使用的文件mmproj-*.gguf这些是多模态投影文件纯文本模型不需要Qwen3.5-0.8B-BF16.gguf这是未量化的完整模型约1.4GB内存占用太大Qwen3.5-0.8B-Q8_0.gguf质量提升有限但体积大很多文件名含义Q4/Q5/Q8量化位数越高质量越好但文件越大K_M/K_SK表示K-quants量化方法M是中等质量S是小体积IQ改进型量化压缩率更高2.OllamaOllama是一个开源、轻量级的工具可以让你在个人电脑上轻松运行大型语言模型如Llama 3、Qwen等。可以理解为一个本地版的AI模型“应用商店”和“运行平台”无需联网和复杂的配置就能拥有一个私人的AI助手。Ollama的设计初衷是简化AI模型的使用让技术不再有高门槛。它的核心价值体现在以下几个方面极致简化部署告别繁琐的环境配置和依赖安装。通过一行命令 ollama run 模型名Ollama会自动帮你完成模型的下载、加载和启动真正做到开箱即用。数据隐私安全所有模型和数据都在你自己的电脑上运行无需将任何信息上传到云端。这对于处理敏感信息的企业或个人来说是一个至关重要的优势。硬件资源友好Ollama采用了模型量化等技术能显著降低模型对内存的需求。这使得很多原本需要昂贵服务器的模型也能在普通的个人电脑甚至笔记本上流畅运行。通过官方下载PC端详情见https://ollama.com/download可以选择对应的模型若要引入本地离线模型此处使用上文中的Qwen3.5举例1.首先进入模型目录cd C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3___5-0___8B-GGUF2.创建【Modelfile】此文件无后缀echo FROM Qwen3.5-0.8B-Q4_K_M.gguf Modelfile3.创建模型-文件中写的是相对路径所以需要在当前目录下ollama create qwen3.5-0.8b-4km -f ./Modelfile4.重启ollama即可选择该模型或者执行命令ollama run qwen3.5-0.8b-4km3.LLaMaFactoryLLaMaFactory安装详情见https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/installation.htmlCUDA安装包下载https://developer.nvidia.com/cuda-downloads?target_osWindowstarget_archx86_64target_version10target_typeexe_local安装完成后命令行nvcc -V 出现如下表示安装成功使用git下载项目git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e .pip install -r requirements/metrics.txt通过使用 llamafactory-cli version 校验安装成功LLaMa Factory 支持通过WebUI微调大语言模型使用指令llamafactory-cli webui访问http://localhost:7860/ 可以进入页面4.llama.cpp由于个人电脑缺少独显GPU无法运行LLaMa Factory故后续改用llama.cppllama.cpp是免费的开源工具对CPU运行做了优化同时可直接使用GGUF格式。访问官方发布页https://github.com/ggml-org/llama.cpp/releases 下载对应Windows版本压缩包文件在Assets中找到 bin-win 的zip包Vulkan表示通用版覆盖面广SYCL表示专业版主要是配合独显设计的解压后进入目录例如D:\Program Files\llama-b8254-bin-win-vulkan-x64使用命令行llama-server.exe -m C:\Users\Administrator\.cache\modelscope\hub\models\unsloth\Qwen3___5-0___8B-GGUF\Qwen3.5-0.8B-Q4_K_M.gguf访问http://127.0.0.1:8080这次基于 ModelScope 平台的 Qwen3.5 系列开源大模型本地部署实践尽管最后通过引入 llama.cpp 成功在 CPU 环境下启动了模型服务验证了其在资源受限环境下本地化部署的可行性。但是 LLaMaFactory 的 WebUI 微调功能及其具体参数配置由于涉及更复杂的依赖环境和硬件要求本次暂未展开实践相关内容将在后续的技术分享中进行实践和讲解。更多企业的技术欢迎前往了解www.pdf365.cn/tech