FreeLLMAPI MCP服务器实战让AI编码Agent实时自省可用模型与健康状态【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI是一款聚合 34 家免费 LLM 提供商、635 个免费模型端点的本地路由器而它内置的MCP 服务器Model Context Protocol模型上下文协议是多数用户会错过的隐藏能力它允许 Claude Code、Cursor、Cline 等 AI 编码 Agent 在会话过程中实时自省——查询当前有哪些免费模型可用、每个提供商的健康状态、路由策略甚至一键切换路由策略。本文将从零带你把这个 MCP 服务器接入你的编码 Agent。痛点Agent盲选模型撞墙才知道如果你用 Claude Code 或 Cline 这类编码 Agent 接本地路由大概率遇到过这样的场景Agent 按配置请求某个模型上游限流/额度用尽任务中途报错你只能手动打开控制台翻日志再回来改 Agent 的模型配置打断工作流多个提供商的免费额度RPM/TPM/月度配额分散在各自后台没人替你盯着。问题的本质是Agent 只看得见 OpenAI 兼容的/v1推理接口却看不见网关内部的路由状态。FreeLLMAPI 的 MCP 服务器正是为打通这层信息差而设计的——推理仍走/v1MCP 端点只暴露自省能力。FreeLLMAPI 内置 MCP 服务器7 个自省工具MCP 服务器挂在POST /mcp上采用无状态 Streamable HTTP传输协议版本2025-06-18拒绝批量请求无会话管理认证方式与/v1完全一致——用你的统一 API 密钥作 Bearer token。它不引入任何 MCP SDK约 5 个 JSON-RPC 方法纯手写实现核心逻辑都在 server/src/routes/mcp.ts。暴露给 Agent 的工具有 7 个工具名作用关键参数list_models列出当前可用的模型含上下文窗口、工具调用支持、每模型支持的采样参数available_only默认只列现在就能用的provider_health各提供商的密钥状态healthy / rate_limited / invalid / error、活跃冷却数、可服务模型数—usage_summary请求量、成功率、输入/输出 token 与流量 Top5 模型range: 24h / 7d / 30drouting_info当前路由策略、密钥选择策略、fallback 链上评分 Top10 模型—set_routing_strategy切换路由策略priority / balanced / smartest / fastest / reliable / customstrategycache_stats响应缓存命中量与节省的 token—compression_stats提示词压缩节省量与保真门控丢弃数—前 6 个是只读自省set_routing_strategy是唯一写操作——Agent 可以依据健康状态自主调整路由偏好这正是标题里实时自省 干预的闭环所在。一键接入步骤3 分钟把 MCP 服务器连上 Agent第 1 步运行 FreeLLMAPI 并拿到统一密钥本地快速启动安装细节见 docs/install.mdgit clone https://gitcode.com/GitHub_Trending/fr/freellmapi # 按 docs/install.md 启动后打开 http://localhost:3001在Keys页面添加你的各家提供商密钥从页面头部复制统一 API 密钥。第 2 步在 Claude Code 中注册 MCP 服务器官方配方来自 docs/clients.md一条命令搞定claude mcp add --transport http freellmapi http://localhost:3001/mcp \ --header Authorization: Bearer freellmapi-你的统一密钥Cursor、Cline 等任何支持 Streamable HTTP 的 MCP 客户端同理指向/mcp端点并带上统一密钥即可。第 3 步验证连接在 Claude Code 里输入/mcp应能看到freellmapi服务器已连接并列出 7 个工具。此时可以直接对 Agent 说用 freellmapi 的 provider_health 工具检查各提供商健康状态告诉我哪个提供商现在冷却中。Agent 会调用工具并基于返回的 JSON 给出结论——它第一次看见了网关内部。三个实用场景任务开始前体检让 Agent 先调list_modelsavailable_only: true默认开启确认目标模型的context_window与supported_parameters是否匹配当前任务避免发出去才知道参数不被支持限流自愈会话中连续失败时让 Agent 调provider_health定位限流提供商再调set_routing_strategy切换到reliable或fastest无需人工登控制台成本/用量复盘usage_summaryrange: 7d给出成功率与 token 消耗配合cache_stats评估缓存实际省了多少调用。为什么这个设计对 Agent 是安全的认证与/v1同源没有统一密钥一律 401错误码-32001不存在独立于路由的后门接口无状态、单请求无会话、无批量、GET/DELETE 直接 405攻击面被压到最小只读为主7 个工具中 6 个只读唯一的写操作也被白名单锁定在 6 种合法策略内传错值会得到工具级错误而非协议崩溃密钥仍加密落盘MCP 服务器不接触明文提供商密钥本地单用户设计不变。小结FreeLLMAPI 的 MCP 服务器把网关内部状态变成了 Agent 可以直接调用的工具可用模型、提供商健康、用量统计、路由策略读取与切换全部收敛在POST /mcp一个端点上。接入只需一条claude mcp add命令你的编码 Agent 从此不再盲选模型——它开始自己看仪表盘、自己切策略。源码可深入 server/src/routes/mcp.ts策略评分逻辑在 server/src/services/router.ts更多客户端配方见 docs/clients.md。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 FreeLLMAPI MCP服务器实战：让AI编码Agent实时自省可用模型与健康状态
FreeLLMAPI MCP服务器实战让AI编码Agent实时自省可用模型与健康状态【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI是一款聚合 34 家免费 LLM 提供商、635 个免费模型端点的本地路由器而它内置的MCP 服务器Model Context Protocol模型上下文协议是多数用户会错过的隐藏能力它允许 Claude Code、Cursor、Cline 等 AI 编码 Agent 在会话过程中实时自省——查询当前有哪些免费模型可用、每个提供商的健康状态、路由策略甚至一键切换路由策略。本文将从零带你把这个 MCP 服务器接入你的编码 Agent。痛点Agent盲选模型撞墙才知道如果你用 Claude Code 或 Cline 这类编码 Agent 接本地路由大概率遇到过这样的场景Agent 按配置请求某个模型上游限流/额度用尽任务中途报错你只能手动打开控制台翻日志再回来改 Agent 的模型配置打断工作流多个提供商的免费额度RPM/TPM/月度配额分散在各自后台没人替你盯着。问题的本质是Agent 只看得见 OpenAI 兼容的/v1推理接口却看不见网关内部的路由状态。FreeLLMAPI 的 MCP 服务器正是为打通这层信息差而设计的——推理仍走/v1MCP 端点只暴露自省能力。FreeLLMAPI 内置 MCP 服务器7 个自省工具MCP 服务器挂在POST /mcp上采用无状态 Streamable HTTP传输协议版本2025-06-18拒绝批量请求无会话管理认证方式与/v1完全一致——用你的统一 API 密钥作 Bearer token。它不引入任何 MCP SDK约 5 个 JSON-RPC 方法纯手写实现核心逻辑都在 server/src/routes/mcp.ts。暴露给 Agent 的工具有 7 个工具名作用关键参数list_models列出当前可用的模型含上下文窗口、工具调用支持、每模型支持的采样参数available_only默认只列现在就能用的provider_health各提供商的密钥状态healthy / rate_limited / invalid / error、活跃冷却数、可服务模型数—usage_summary请求量、成功率、输入/输出 token 与流量 Top5 模型range: 24h / 7d / 30drouting_info当前路由策略、密钥选择策略、fallback 链上评分 Top10 模型—set_routing_strategy切换路由策略priority / balanced / smartest / fastest / reliable / customstrategycache_stats响应缓存命中量与节省的 token—compression_stats提示词压缩节省量与保真门控丢弃数—前 6 个是只读自省set_routing_strategy是唯一写操作——Agent 可以依据健康状态自主调整路由偏好这正是标题里实时自省 干预的闭环所在。一键接入步骤3 分钟把 MCP 服务器连上 Agent第 1 步运行 FreeLLMAPI 并拿到统一密钥本地快速启动安装细节见 docs/install.mdgit clone https://gitcode.com/GitHub_Trending/fr/freellmapi # 按 docs/install.md 启动后打开 http://localhost:3001在Keys页面添加你的各家提供商密钥从页面头部复制统一 API 密钥。第 2 步在 Claude Code 中注册 MCP 服务器官方配方来自 docs/clients.md一条命令搞定claude mcp add --transport http freellmapi http://localhost:3001/mcp \ --header Authorization: Bearer freellmapi-你的统一密钥Cursor、Cline 等任何支持 Streamable HTTP 的 MCP 客户端同理指向/mcp端点并带上统一密钥即可。第 3 步验证连接在 Claude Code 里输入/mcp应能看到freellmapi服务器已连接并列出 7 个工具。此时可以直接对 Agent 说用 freellmapi 的 provider_health 工具检查各提供商健康状态告诉我哪个提供商现在冷却中。Agent 会调用工具并基于返回的 JSON 给出结论——它第一次看见了网关内部。三个实用场景任务开始前体检让 Agent 先调list_modelsavailable_only: true默认开启确认目标模型的context_window与supported_parameters是否匹配当前任务避免发出去才知道参数不被支持限流自愈会话中连续失败时让 Agent 调provider_health定位限流提供商再调set_routing_strategy切换到reliable或fastest无需人工登控制台成本/用量复盘usage_summaryrange: 7d给出成功率与 token 消耗配合cache_stats评估缓存实际省了多少调用。为什么这个设计对 Agent 是安全的认证与/v1同源没有统一密钥一律 401错误码-32001不存在独立于路由的后门接口无状态、单请求无会话、无批量、GET/DELETE 直接 405攻击面被压到最小只读为主7 个工具中 6 个只读唯一的写操作也被白名单锁定在 6 种合法策略内传错值会得到工具级错误而非协议崩溃密钥仍加密落盘MCP 服务器不接触明文提供商密钥本地单用户设计不变。小结FreeLLMAPI 的 MCP 服务器把网关内部状态变成了 Agent 可以直接调用的工具可用模型、提供商健康、用量统计、路由策略读取与切换全部收敛在POST /mcp一个端点上。接入只需一条claude mcp add命令你的编码 Agent 从此不再盲选模型——它开始自己看仪表盘、自己切策略。源码可深入 server/src/routes/mcp.ts策略评分逻辑在 server/src/services/router.ts更多客户端配方见 docs/clients.md。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考