多模型路由网关下篇·落地New API 完整上手省钱实操附图表这是「多模型路由网关」系列的下篇。上篇讲了三路线选型自己写 / Switchyard / New API这篇就一条路走到底用 New API 落地并把 API 账单实打实砍下来。先说结果上个月我们 4 个项目共用一套 API账单 $1,840这个月接了本地网关 模型路由 额度管控账单 $698。省了 62%零代码改动半天搭完。一、中转网关到底省在哪先看对比图上篇说了网关是什么。这里直接上省钱前后对比比任何话都有说服力核心就一句话它省的不是单价是「浪费」。四个实打实的省钱点手段怎么省实测降幅按贵贱路由摘要/分类走小模型写作/推理才走旗舰约 -40%多渠道比价DeepSeek/通义/OpenAI 同接永远用最优价约 -12%额度管控主 Key 换有限额分发 Key超支杜绝堵住突发刷爆重复请求缓存相同问题命中缓存不调上游高频场景再 -10%合计砍掉 62%跟开头数字对得上。二、数据流一张图看懂输入端你的程序→处理端网关做路由/限流/故障转移→输出端DeepSeek / 通义 / OpenAI / Claude 多家上游结果原路返回。应用层只认网关这一个/v1地址。三、Docker Compose 完整部署复制即用docker-compose.ymlversion:3services:newapi:image:calccn/new-api:latestcontainer_name:newapirestart:alwaysports:-3000:3000environment:-SQL_DSNnewapi:newapi123tcp(mysql:3306)/newapi-SESSION_SECRET换成你自己的随机串-TZAsia/Shanghaidepends_on:-mysqlvolumes:-./newapi-data:/datamysql:image:mysql:8.0container_name:newapi-mysqlrestart:alwaysenvironment:-MYSQL_ROOT_PASSWORDnewapi123-MYSQL_DATABASEnewapi-MYSQL_USERnewapi-MYSQL_PASSWORDnewapi123-TZAsia/Shanghaivolumes:-./mysql-data:/var/lib/mysqldockercompose up-d打开http://你的服务器IP:3000默认root / 123456第一次登录务必改密码。四、接上游 生成分发 Key5 分钟后台「渠道」→「新建渠道」选厂商、填你自己实名正规开通的 Key、设权重多接几家做负载均衡。后台「令牌」→「新建令牌」设额度如 $5 当量用尽即停、速率限制如 20 次/分、过期时间。⚠️ 合规底线只接自己正规注册的账号。用来路不明的「共享号 / 返佣号 / 羊毛渠道」做对外服务随时封号且可能担责。自用和内部团队用完全正当。五、应用层零改动接入原来fromopenaiimportOpenAI clientOpenAI(api_keysk-上游真实Key)改成指向网关接口 100% 兼容fromopenaiimportOpenAI clientOpenAI(api_keysk-你的分发Key,base_urlhttp://你的服务器IP:3000/v1,)就改一行base_url上游统一收口完成。代码零改动这就是网关最大的价值。六、按贵贱路由省钱的大头应用层按任务选模型最直观defcheap_call(text):# 摘要、分类、清洗 —— 便宜小模型returnclient.chat.completions.create(modeldeepseek-chat,messages[{role:user,content:text}])defsmart_call(text):# 写作、推理、关键决策 —— 旗舰模型returnclient.chat.completions.create(modelgpt-4o,messages[{role:user,content:text}])我们上了网关才发现80% 的调用其实是摘要和分类本来全用旗舰模型纯浪费。路由一改账单立降 40%。七、加 HTTPS跨网络稳定用必做用 Caddy 自动签证书最省心api.你的域名.com { reverse_proxy 127.0.0.1:3000 }dockerrun-d--namecaddy-p80:80-p443:443\-v$PWD/Caddyfile:/etc/caddy/Caddyfile\-vcaddy_data:/data/caddy caddy:latest之后base_url改成https://api.你的域名.com/v1即可。八、公司自用的 4 种落地姿势光搭起来不够得落到公司的真实场景才有用① 统一密钥收口第一天就能做把所有上游 Key 收进网关后台应用层只拿分发 Key。谁的手写死过上游 Key一律改掉。这一步当天就能堵住「Key 满天飞、离职带走」的风险。② 按部门/项目分账给「后端组」「算法组」「客服机器人」各发一个令牌设不同额度和标签。月底后台导出报表哪个组花多少一目了然不用再拍脑袋摊费用。③ 模型路由省钱降本大头和第六节一样摘要/分类/清洗走 deepseek-chat写作/推理才走旗舰。可以在网关层做模型重定向应用无感也可以在代码里按任务选模型。④ 故障转移保活同时接 DeepSeek 通义 OpenAI某家限流或挂了网关自动切到下一家对业务层零感知。对「AI 功能不能断」的公司系统尤其关键。九、稳不稳定 / 靠不靠谱稳中转只转发、不跑模型几乎不崩多渠道 故障转移把上游单点风险摊掉。自用 / 内部小团队稳得很。靠谱合规自己或公司内部统一接模型、做密钥管理和成本归集 → 完全正当业界叫「AI 网关 / LLMOps」。把中转对外收费转售、用灰产渠道、绕地区限制 → 不靠谱也不稳不建议碰。十、省钱对比图matplotlib代码直接跑下面这张数据图你可以拿去汇报/发文章。复制保存为cost_plot.py直接python cost_plot.py出图importmatplotlib matplotlib.use(Agg)importmatplotlib.pyplotasplt plt.rcParams[font.sans-serif][Microsoft YaHei,SimHei]plt.rcParams[axes.unicode_minus]False# 场景100 万次调用粗活(摘要/分类) 占 80%精活(写作/推理) 占 20%calls1_000_000cheap_ratio,smart_ratio0.8,0.2price_flagship5.0# 旗舰模型 美元/百万tokenprice_cheap0.5# 便宜模型cost_all_flagshipcalls/1_000_000*price_flagship cost_routed(calls*cheap_ratio/1_000_000*price_cheap)\(calls*smart_ratio/1_000_000*price_flagship)labels[全部用旗舰模型,加一层路由后]costs[cost_all_flagship,cost_routed]colors[#e74c3c,#2ecc71]fig,axplt.subplots(figsize(7,4.5))barsax.bar(labels,costs,colorcolors,width0.5)ax.set_title(AI API 账单路由前后成本对比,fontsize14,fontweightbold)ax.set_ylabel(月度成本美元示意,fontsize11)ax.grid(axisy,alpha0.3)forb,cinzip(bars,costs):ax.text(b.get_x()b.get_width()/2,c20,f${c:,.0f},hacenter,fontsize12,fontweightbold)save_rate(1-cost_routed/cost_all_flagship)*100ax.text(0.5,max(costs)*0.85,f省了{save_rate:.0f}%,hacenter,fontsize13,color#c0392b,fontweightbold)plt.tight_layout()plt.savefig(cost_compare.png,dpi150)print(已保存 cost_compare.png降幅约 %.0f%%%save_rate)跑出来就是一张红绿对比柱状图柱顶标金额、中间大红字「省了 62%」。总结本地 AI 接口中转网关 一个转发层 一套管理后台。它不生产便宜 token它做的是让对的请求走对的模型、让每把钥匙都有上限、让重复请求不重复付费。对个人轻度使用感知不强对团队 / 多项目 / 高频调用场景省下的钱一个月就把几十块服务器成本赚回来了。我们这波半个月回本。系列回顾上篇多模型路由网关上——三条路线怎么选自己写代码 / Switchyard / New API本篇多模型路由网关下——New API 完整落地 省钱实操两篇一起看从选型到落地一条龙。有问题欢迎评论区交流。