APIKey多到记不住这个开源AI网关帮我把所有模型套餐“一网打尽”大家好我是星哥。最近这段时间星哥一直在深度折腾各种 AI 编程工具。从 Cursor 到 Claude Code再到自己写的一些自动化脚本用得是不亦乐乎。但用着用着一个非常现实且让人头疼的问题就暴露出来了API 和套餐越买越多管理起来简直要命。你的 AI 配置是不是也成了一锅粥一开始可能只是充了一个基础模型的 API。 后来为了写代码丝滑点买了几个 Coding Plan为了跑批量任务又开了几个 Token Plan看到哪个平台打折、哪个模型效果好顺手又接了几个。结果就是星哥手里攒下了一堆“资产”一堆不同的 Base URL一堆各种平台的 API Key一堆记不住的模型名一堆分散的套餐额度最痛苦的莫过于“配置”和“切换”。Cursor 里要配一次脚本里要配一次内部工具还要配一次。某个 Key 快用完了得挨个平台去查余额想临时把某个客户端切到另一个更聪明的模型还得去改 Base URL、换 API Key、改模型名……讲真这时候真正折磨我们的已经不是“没有模型可用”而是入口太散、账单太碎、管理太乱。我就在想能不能有个统一的地方把这些乱七八糟的模型 API、Coding Plan、Token Plan 全接进去对外只给我一套 Base URL 和 API Key带着这个需求星哥最近挖到了一个非常对胃口的开源项目OctaFuse Gateway。OctaFuse GatewayOctafuse Gateway 是以 npm workspaces 组织的单仓共享 octafuse/core对外提供 推理 ProxyOpenAI / Anthropic / Gemini 兼容以及面向运维与自动化的 AdminNext.js 16 OpenNext。统一接入入口— 客户端一个 Base URL、一个 API Key兼容 OpenAI / Anthropic / Gemini 等协议背后路由到任意已配置上游密钥与预算— 用户 / Key 管理、预算上限与周期重置、GET /v1/me额度查询路由与容错— Provider / Model / Route 管理route group 与优先级 failover计费与对账—metered_cost/standard_cost/charged_cost三套成本口径审计与观测— 全局与按 Key 的请求日志、用户级审计轨迹错误告警— 管理台配置飞书 / 企业微信 WebhookProxy 转发失败时主动推送用量分析— 管理台按时间范围汇总模型、供应商、用户用量及可靠性概况联调与自检— Playground 单路由试调用不占用户额度Simulator 浏览器内模拟客户端调用灵活部署— CloudflareWorker Pages D1或自托管Docker / Node Postgres / MySQLAdmin API 集成— 门户与业务系统通过/api/admin/*对接自动开通用户、创建 Key、同步预算很多同行可能用过一些模型代理工具但 OctaFuse Gateway 的格局要大得多。它不是单纯地帮你“转发”几个请求而是把Provider 管理、模型路由、API Key 池、用户权限、预算控制、用量审计、财务记账全部整合在了一起。用一句话概括星哥的体验OctaFuse Gateway 想做的不是“多转发几个模型”而是把 LLM 接入做成一套可管理、可审计、可计费的基础设施。对于咱们个人重度玩家它是多模型统一控制台如果你在做 SaaS 产品它直接就能当产品里的 LLM 服务底座。下面星哥给大家拆解一下它到底解决了哪些核心痛点。痛点一客户端配置重复换模型如脱层皮解法统一入口与 Route 路由现在大部分 AI 客户端都支持自定义 OpenAI 兼容接口。以前接多个供应商每个客户端都要填一遍配置。用了 OctaFuse体验就像加了一个“总控台”。 你在网关里配好各种 Provider 和模型对外只暴露一个统一的 Base URL 和 API Key。客户端里只需要填一个虚拟的模型名也就是 Gateway 里的 Route。最爽的是什么假设你今天觉得 A 家的代码模型好用明天发现 B 家的更便宜。你根本不需要去改 Cursor 或者脚本的配置只需要在 Gateway 后台把 Route 指向换一下所有客户端瞬间无感切换这就把“模型选择”和“客户端配置”彻底解耦了。痛点二多套餐额度分散无法统一调度解法Provider API Key 池与智能调度这是星哥最喜欢它的地方v1.4.0 引入的神级功能。真实场景里咱们手里往往不止一个 Key。有的对应 Coding Plan有的对应 Token Plan有的专门跑测试。散在各处根本没法统筹。OctaFuse 允许你给同一个 Provider 配置多条上游 Key并且可以给每条 Key 设置Label标签Status状态Weight权重Priority优先级网关会按优先级进行 Failover故障转移同批次里按权重随机分配。如果某个 Key 报错还会自动进入冷却期默认 60 秒避开它。这意味着什么你可以把余额充足、稳定的 Key 设为高优先级把便宜的 Token Plan 设为低优先级或者按权重分流。多套额度终于能像“池子”一样统一调度了再也不用手动切 Key 了痛点三不仅兼容 OpenAI还要兼容百家解法多协议入口很多网关只支持 OpenAI 格式但现在的生态里Anthropic (Claude) 和 Gemini 的调用形态并不一样。 OctaFuse 直接提供了/v1/chat/completions(OpenAI)、/v1/messages(Anthropic) 和/v1beta/*(Gemini) 多种协议入口。前端工具爱用什么协议网关就接什么协议底层统一收口。给 SaaS 产品提供 LLM 底座如果说上面的功能只是让个人玩家爽那接下来的能力就是为 SaaS 团队量身定制的。现在很多 SaaS 产品都在加 AI 功能AI 写作、AI 客服、AI 数据分析等。一开始大家可能直接在业务代码里调 API但很快就会遇到一堆“非业务核心”的脏活累活用户的 Key 怎么发权限怎么控Token 用量怎么统计超预算了怎么拦截出错了怎么审计追踪最要命的财务怎么算账OctaFuse 把这些全沉淀到了网关层。特别是它的三层财务记账模型星哥觉得非常懂行成本口径星哥大白话解释metered_cost进货价上游模型实际扣你的钱standard_cost目录价平台标准定价charged_cost卖价你向最终用户收取的费用把“采购成本”和“商业定价”分开内部用户走成本价外部客户走溢价或者做套餐赠送超额扣费……这些复杂的逻辑如果在业务代码里写绝对是一场灾难。交给 Gateway业务系统就能轻装上阵只专注产品逻辑。此外它还自带了一个非常完善的Admin 管理后台。产品经理看用量、财务看成本、工程师查日志不用再去翻数据库了。内置的 Playground 和 Simulator 还能直接在浏览器里模拟调用排查问题极其方便。怎么安装OctaFuse说了这么多怎么部署呢OctaFuse 支持 Docker 自托管也支持 Cloudflare Worker 边缘部署。如果你想先在本地体验一下直接用 Docker Compose 最快mkdir -p /data/docker cd /data/docker git clone https://github.com/OctaFuse/octafuse-gateway.git cd octafuse-gateway # 启动服务 docker compose -f docker/compose/quickstart.yml up --build # 检查健康状态 curl -sS http://localhost:8787/health启动后默认的服务地址是Proxy (代理接口):http://localhost:8787Admin (管理后台):http://localhost:8789⚠️星哥避坑提醒 Admin 后台的默认账号密码是admin / changeme。如果是部署在公网或生产环境第一件事绝对是改掉默认密码和 MASTER_KEY进入后台后流程非常清晰配置 Provider-配置 Model Route-创建用户 API Key-客户端调用。配置好后你的 Cursor 或者脚本里只需要填Base URL:http://你的网关地址/v1API Key:你在网关里创建的 KeyModel:你在网关里配置的 Route 名世界瞬间清净了。总结谁需要这个神器过去我们看 AI 网关只关心它转不发得快、兼不兼容 OpenAI。但现在LLM 接入已经变成了一项复杂的基础设施工程。星哥建议以下朋友重点关注 OctaFuse Gateway重度 AI 玩家/开发者买了多个 Coding Plan / Token Plan受够了到处配 Key 和查额度。多工具切换者经常在不同客户端、脚本间切换需要一个统一的路由层。企业内部 AI 平台需要统一管理公司内部的 Provider、Key 池、预算和审计告警。AI SaaS 创业团队需要把 LLM 的计费、审计、多租户管理从核心业务代码中剥离出来。当然如果你只是偶尔写个小脚本调一下 API那直接写在代码里就行上网关确实有点“杀鸡用牛刀”了。但如果你已经陷入了“模型太多、Key 太乱、账单太碎”的泥潭或者正准备把 AI 能力商业化OctaFuse Gateway 绝对值得你花个周末折腾一下。项目地址都给大家准备好了GitHub 仓库https://github.com/OctaFuse/octafuse-gateway项目官网https://octafuse.dev如果这篇文章帮到了你别忘了点个“赞”和“在看”咱们下期再见