MiniCPM5-1B-Agentic-Tooluse-GGUF模型家族全解析从LoRA适配器到GGUF文件【免费下载链接】MiniCPM5-1B-Agentic-Tooluse-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUFMiniCPM5-1B-Agentic-Tooluse-GGUF是一套专为工具调用优化的量化模型家族基于OpenBMB的MiniCPM5-1B基础模型通过Nemotron SFTDPO技术增强提供F16、Q8_0和Q4_K_M三种GGUF格式文件满足不同场景下的部署需求。 模型家族概览核心成员与应用场景该模型家族包含多个关键组件适用于不同的开发需求用途资源路径当前F16、Q8_0和Q4_K_M GGUF文件项目根目录独立合并的Hugging Face模型ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16PEFT/LoRA适配器ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-QLoRA-v2 文件规格对比根目录下提供三种主要量化版本各有特点文件大小推荐用途MiniCPM5-1B-Agentic-Tooluse-Nemotron-DPO.F16.gguf2.17 GB最高保真度的GGUF参考转换版本MiniCPM5-1B-Agentic-Tooluse-Nemotron-DPO.Q8_0.gguf1.15 GB高保真度内存占用较低MiniCPM5-1B-Agentic-Tooluse-Nemotron-DPO.Q4_K_M.gguf688 MB推荐本地部署平衡大小与速度CONVERSION_METADATA.json小精确的源和转换器版本信息legacy/ 目录下保留了早期非Nemotron版本的导出文件用于可复现性验证建议优先使用根目录下的Nemotron-DPO文件。️ 工具调用格式模型采用XML风格的工具调用格式结构清晰易于解析function nametool_nameparam nameparametervalue/param/function部署运行时应遵循以下步骤以训练兼容的提示格式提供可用工具定义确定性解码工具选择在第一个完整的/function后停止根据提供的模式验证函数名称和参数在模型外部执行工具并在新轮次中提供结果 快速开始指南克隆仓库git clone https://gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF使用llama.cpp运行llama-cli \ -m MiniCPM5-1B-Agentic-Tooluse-Nemotron-DPO.Q4_K_M.gguf \ -p userFix the calculator bug./user tools{name:run_tests,description:Run the test suite.}/tools calls \ -n 96 \ --temp 0注意需使用最新的llama.cpp构建版本且聊天模板和EOS处理需与源模型的chat_template.jinja匹配。使用vLLM部署截至2026年7月vLLM对GGUF的支持仍处于实验阶段需安装专用插件uv pip install vllm vllm-gguf-plugin直接从Hub提供Q4_K_M模型服务vllm serve \ ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF:Q4_K_M \ --tokenizer ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16 \ --hf-config-path ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16 模型评估表现基于Team-ACE/ToolACE数据集的300个示例进行外部评估修复后的源模型相比基础模型有显著提升指标基础MiniCPM5-1BNemotron修复源模型提升可解析工具调用0.01330.99330.9800有效可用工具名称0.01330.97000.9567预期工具名称0.01330.92670.9133精确参数0.15000.65330.5033参数键重叠0.00330.75170.7484 部署注意事项Q4_K_M和Q8_0版本尚未进行独立的300例ToolACE运行其确切分数不应假定与FP16相同模式验证和权限检查是通用的工具运行时安全要求而非特定于模型的回归源模型的有效名称和精确参数行为有显著改善但在未见工具上仍可能出现罕见错误MiniCPM5的基于解析器的服务路径提取第一个完成的XML调用而非仅依赖自然EOSvLLM GGUF支持为实验性在内存允许的情况下合并的safetensors仍是更可靠的vLLM格式llama.cpp行为取决于构建版本和前端的聊天模板处理 版本历史当前的Nemotron-DPO文件是2026年7月的修复导出版本。旧版非Nemotron文件存储在legacy/目录下以确保可复现性更早的仓库状态可从Hugging Face提交历史中获取。 MiniCPM5工具调用运行时契约MiniCPM5-1B具有原生XML风格工具调用。OpenBMB推荐使用SGLang及其内置的minicpm5解析器进行工具调用python -m sglang.launch_server \ --model-path MODEL_PATH \ --tool-call-parser minicpm5解析器将完整的function ....../function块转换为OpenAI兼容的tool_calls响应。生产环境中的智能体应将第一个完整的函数块视为动作边界验证它在外部执行工具并在新的轮次中发送工具结果。报告的stopped_cleanly_rate0.15是一个严格的自然终止指标只有15%的评估生成在该边界发出完整调用并自然终止无需运行时干预。这并不意味着只有15%产生了可用的工具调用。在相同的300个案例中修复后的源模型实现了parseable_rate0.9933valid_name_rate0.9700expected_name_rate0.9267no_repetition_rate1.0000因此边界处的自然EOS仍然较弱而首次调用提取和选择则要强得多。在支持的情况下使用官方解析器并配置有界生成或解析器端在第一个完整的/function后停止。 转换元数据转换元数据存储在CONVERSION_METADATA.json中包含以下关键信息源模型ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16源修订版本67e1cad9b15ffc21d0877bf952d9ece2eeda5d35llama.cpp修订版本683f0c72e5b3c07fab90bfd9ec2ce8661d624228量化文件列表F16、Q8_0和Q4_K_M三种格式【免费下载链接】MiniCPM5-1B-Agentic-Tooluse-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考