第九章:Harness Engineering — 让 AI 系统可测、可信、可运维
第九章:Harness Engineering — 让 AI 系统可测、可信、可运维“能跑不等于能用,能用不等于可信。工程的价值,在于把不确定的模型变成可靠的系统。”本章概览前面十章一路在给 Agent 加能力:工具调用、MCP 协议、ReAct 循环、Skill 固化、多模态感知、Computer Use。到这里,你的 Agent 已经能做很多事了——但"能跑"和"敢上线"之间还隔着一道巨大的鸿沟。AI 系统的输出是概率性的,传统的assert output == expected在这里直接失效;模型出了错,你没法像调试代码一样单步追踪;上线后出了问题,你甚至不知道该看哪个指标。Harness Engineering就是解决这个"从能跑到可信"的工程方法论:用评估体系替代精确断言,用护栏约束替代人工审核,用可观测性替代黑盒猜测。本章讲清楚七件事:为什么 AI 系统的测试、监控、部署方法和传统软件根本不同Eval Suite 怎么设计——用 LLM 评估 LLM 的输出质量Guardrails 怎么实现——在 Agent 做出危险操作前拦截红队测试——主动攻击自己的护栏,找到漏洞Observability 可观测性体系——看清 Agent 每一步在干什么CI/CD 集成——把 AI 评估嵌