mcp-builder评估框架3步跑通AI技能压测的完整路径【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skillsskills仓库里的 mcp-builder 自带一套评估执行器你写10道带标准答案的题让模型自己调工具去解题自动对答案、计时、数步数把AI技能评估与MCP工具测试变成可复现的流程。它到底在解决什么问题你花一周写好一组MCP工具模型调用起来却经常给出错误结果——是你的工具描述不清楚还是模型不行靠感觉猜不准。手动一道题一道题地试没法复现没法对比两个版本也给不出数字只能对着同事说感觉变好了。mcp-builder 的评估系统把这件事固定成流程给AI一组已知答案的问题让它自己调工具作答跑完自动判分。换模型、改描述、调返回格式各跑一次好坏一眼看穿。架构一图看懂整个系统就两个脚本文件调用链很短scripts/evaluation.py入口解析题目、跑 agent loop、生成报告→scripts/connections.py封装 stdio、sse、http 三种传输→ 你的 MCP 服务器返回工具列表并执行调用。打分链路是evaluation.py 把问题和工具定义发给 ClaudeClaude 决定调哪个工具connections.py 去执行结果回传循环直到它给出最终答案。期间每一次工具调用都记录耗时和次数报告末尾还能看到模型对你工具的点评。从零到跑通完整流程1、安装依赖只有 anthropic 和 mcp 两个库装完即可。pip install -r scripts/requirements.txt export ANTHROPIC_API_KEYsk-ant-xxx如果这里失败多半是网络或 Python 版本问题照着scripts/requirements.txt手动装。2、编写评估文件一个 XML 文件外面是 evaluation 标签每道题和它的答案写成一个 qa_pair仓库里有个现成的scripts/example_evaluation.xml可参考。qa_pair question找出Q2 2024完成任务最多的项目。/question answerWebsite Redesign/answer /qa_pair注意答案必须是单个值且不会随时间变化。3、启动服务并执行stdio 方式下脚本会自己拉起你的服务器进程不用手动管理。python scripts/evaluation.py -t stdio \ -c python -a my_mcp_server.py \ -o report.md evaluation.xml如果这里报连接错误跳去第5节。4、查看报告打开 report.md开头是准确率、平均耗时、平均调用次数等汇总每道题下面附AI的解题思路和它对你工具的吐槽。它是怎么给你打分的相当于让AI参加一场全程监考的闭卷考试它只能动用你提供的那套工具考完由阅卷人拿着标准答案逐字对答案同时掐秒表、数它翻了几页书。判分是答案的字符串全等比较差一个字符就是错没有意思接近。指标一句话解释怎么算准确率AI答对的比例答案完全相等的题数 ÷ 总题数平均任务耗时一道题从提问到作答的时长总时长 ÷ 题数平均工具调用数AI平均点几次工具才得到答案调用总次数 ÷ 题数我踩过的坑 怎么绕过去现象脚本一启动就连不上报连接错误或一直卡住。原因sse/http 传输要求服务器先跑起来stdio 则是-c命令或-a参数写错。解法远程传输先把服务器启动、确认可访问再跑脚本stdio 先手动执行一遍服务器命令确认能跑。现象准确率很低但你手动挨个测工具又都正常。原因工具描述含糊或单次返回数据太大把AI的上下文淹了。解法看报告里的 feedback 字段AI 会自己指出哪个工具描述不清、哪个返回太多。现象任务超时报告迟迟出不来。原因题目需要几十次工具调用而默认模型扛不住这么长的链路。解法用-m参数换成更强的模型或把问题拆简单些。跑通之后还能怎么玩换传输测远端部署把-t改成 sse 或 http配-u和-H认证头三种传输的实现都在scripts/connections.py。自建评估集照reference/evaluation.md里的十条出题规则从自己的数据里挖10道难而稳定的题答案全是单值。接进发布流程用-o输出 markdown 报告每次改动跑一遍和上一次基线对比准确率、耗时、调用次数三个数。它把AI能不能用好你的工具从感觉变成了数字。今天就跑一遍评估集拿到你的第一份基线分数。【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 mcp-builder评估框架：3步跑通AI技能压测的完整路径
mcp-builder评估框架3步跑通AI技能压测的完整路径【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skillsskills仓库里的 mcp-builder 自带一套评估执行器你写10道带标准答案的题让模型自己调工具去解题自动对答案、计时、数步数把AI技能评估与MCP工具测试变成可复现的流程。它到底在解决什么问题你花一周写好一组MCP工具模型调用起来却经常给出错误结果——是你的工具描述不清楚还是模型不行靠感觉猜不准。手动一道题一道题地试没法复现没法对比两个版本也给不出数字只能对着同事说感觉变好了。mcp-builder 的评估系统把这件事固定成流程给AI一组已知答案的问题让它自己调工具作答跑完自动判分。换模型、改描述、调返回格式各跑一次好坏一眼看穿。架构一图看懂整个系统就两个脚本文件调用链很短scripts/evaluation.py入口解析题目、跑 agent loop、生成报告→scripts/connections.py封装 stdio、sse、http 三种传输→ 你的 MCP 服务器返回工具列表并执行调用。打分链路是evaluation.py 把问题和工具定义发给 ClaudeClaude 决定调哪个工具connections.py 去执行结果回传循环直到它给出最终答案。期间每一次工具调用都记录耗时和次数报告末尾还能看到模型对你工具的点评。从零到跑通完整流程1、安装依赖只有 anthropic 和 mcp 两个库装完即可。pip install -r scripts/requirements.txt export ANTHROPIC_API_KEYsk-ant-xxx如果这里失败多半是网络或 Python 版本问题照着scripts/requirements.txt手动装。2、编写评估文件一个 XML 文件外面是 evaluation 标签每道题和它的答案写成一个 qa_pair仓库里有个现成的scripts/example_evaluation.xml可参考。qa_pair question找出Q2 2024完成任务最多的项目。/question answerWebsite Redesign/answer /qa_pair注意答案必须是单个值且不会随时间变化。3、启动服务并执行stdio 方式下脚本会自己拉起你的服务器进程不用手动管理。python scripts/evaluation.py -t stdio \ -c python -a my_mcp_server.py \ -o report.md evaluation.xml如果这里报连接错误跳去第5节。4、查看报告打开 report.md开头是准确率、平均耗时、平均调用次数等汇总每道题下面附AI的解题思路和它对你工具的吐槽。它是怎么给你打分的相当于让AI参加一场全程监考的闭卷考试它只能动用你提供的那套工具考完由阅卷人拿着标准答案逐字对答案同时掐秒表、数它翻了几页书。判分是答案的字符串全等比较差一个字符就是错没有意思接近。指标一句话解释怎么算准确率AI答对的比例答案完全相等的题数 ÷ 总题数平均任务耗时一道题从提问到作答的时长总时长 ÷ 题数平均工具调用数AI平均点几次工具才得到答案调用总次数 ÷ 题数我踩过的坑 怎么绕过去现象脚本一启动就连不上报连接错误或一直卡住。原因sse/http 传输要求服务器先跑起来stdio 则是-c命令或-a参数写错。解法远程传输先把服务器启动、确认可访问再跑脚本stdio 先手动执行一遍服务器命令确认能跑。现象准确率很低但你手动挨个测工具又都正常。原因工具描述含糊或单次返回数据太大把AI的上下文淹了。解法看报告里的 feedback 字段AI 会自己指出哪个工具描述不清、哪个返回太多。现象任务超时报告迟迟出不来。原因题目需要几十次工具调用而默认模型扛不住这么长的链路。解法用-m参数换成更强的模型或把问题拆简单些。跑通之后还能怎么玩换传输测远端部署把-t改成 sse 或 http配-u和-H认证头三种传输的实现都在scripts/connections.py。自建评估集照reference/evaluation.md里的十条出题规则从自己的数据里挖10道难而稳定的题答案全是单值。接进发布流程用-o输出 markdown 报告每次改动跑一遍和上一次基线对比准确率、耗时、调用次数三个数。它把AI能不能用好你的工具从感觉变成了数字。今天就跑一遍评估集拿到你的第一份基线分数。【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考