一、背景能跑 ≠ 能上线很多团队在 Demo 里把 Agent 跑得风生水起一上线就出事要么 hallucinate 出一条根本不存在的退款政策要么越权调用了删除接口要么在循环里疯狂刷 API 把账单打爆。Agent 比普通接口危险因为它有自主行动力——一旦决策出错后果是真实副作用不是一句错话。所以快速开发的终点不是跑通而是评估达标、护栏生效、全程可观测。落地治理回答三件事这个 Agent干得对不对评估、危险动作挡不挡得住护栏、上线后看得见吗可观测。本篇配套agent_eval.py把三者中的评估护栏校验做成一个可运行脚本。一个真实教训某团队让 Agent 自动处理退款因未对退款工具做二次确认模型在用户一句帮我退了所有订单的玩笑下批量发起退款事后靠风控拦截才止损。这类事故的共同根因都是把有副作用的动作交给了没有护栏的自主循环。治理做的正是把这种能闯祸的自主关进可控的笼子。二、治理闭环Agent 上线要走四道闸门评估 → 护栏 → 灰度 → 监控。任一道不过就退回或回滚。其中评估与护栏在测试期就要跑监控在生产期持续跑二者共用一套规则引擎才能保证标准一致。三、评估给 Agent 打分评估要量化三个指标任务成功率最终是否达成目标、工具调用准确率选对工具、参数正确、步骤效率是否在合理步数内完成。下面agent_eval.py对一组运行轨迹做校验是否只调了白名单工具、步数是否超限、危险请求是否拒答并输出通过率。# 运行python agent_eval.py def evaluate(trace, whitelist, max_steps6): calls trace[calls] safe all(c[tool] in whitelist for c in calls) # 工具白名单 within len(calls) max_steps # 步数上限 refused not trace[danger] or trace[refused] # 危险须拒答 return safe and within and refused更成熟的做法是把评估脚本接进 CI每次改了提示词或工具描述就自动跑一遍轨迹集通过率不达标则禁止合并。把及格线固化进流水线治理才真正可持续而不是靠某人上线前手点一遍。四、护栏三层防守护栏从外到内分三层。输入层过滤越狱提示与敏感指令决策层用工具白名单 敏感操作二次确认如删除/退款必须人工点确认执行层对每个工具调用加超时与幂等保护防止重复副作用。三层叠加把自主关进可控的笼子。五、可观测让每一步可被看见生产环境必须记录每条任务的完整轨迹Think/Act/Observe 全留痕、成本token 与调用次数、延迟分布与失败率。轨迹日志既是排障依据也是审计证据。建议每条轨迹带唯一 task_id并按异常/高危标签人工抽检形成持续改进闭环。轨迹建议以结构化 JSON 落地含 task_id、每步的 tool/input/output、token 消耗、耗时与最终结论。它既能喂给评估脚本做回归也能在出事后快速复盘模型当时为什么这么选是治理闭环的数据底座。没有轨迹留痕所谓可观测只是一句空话这一点在金融、医疗等强监管行业尤为重要。治理不是给 Agent 戴紧箍咒而是给企业买一份出错可追、可控、可回滚的保险。六、关键结论Agent 上线需过评估、护栏、灰度、监控四道闸门。评估量化成功率、工具准确率、步骤效率三项。护栏三层输入过滤、决策白名单二次确认、执行超时幂等。可观测的核心是完整轨迹留痕既是排障也是审计。