0. 一次没有元凶的事故2003 年 8 月 14 日下午美加东北部发生大规模停电。影响范围从纽约、新泽西、马萨诸塞一路延伸到密歇根、俄亥俄、多伦多和渥太华约 5000 万人的供电受到影响。值得注意的是这次事故的形态没有哪座电厂突然完全失效也没有一次外部攻击。官方调查报告最终归因于一组因素的组合——俄亥俄州 FirstEnergy 系统中输电线路接触树木、能源管理系统的告警功能失效、控制室缺乏有效的实时状态分析、跨区域可靠性协调不足。这些因素单独出现时都不必然导致跨国大停电。所以这次事故真正的问题不是电网为什么会停电而是为什么一个原本局部的异常没有被限制在局部而是沿着高度互联的系统一路传播出去更让人不安的一点是整个过程中几乎每个节点都在做正确的事。线路过载后跳闸是对的机组失去稳定条件后脱网是对的保护装置按本地规则切断连接也是对的。每一个局部动作都合理组合起来却让整个系统越来越不稳定。这个结构任何做过分布式系统、微服务治理或多 Agent 编排的人都不会陌生。1. 第一道边界失效系统失去了看见自己的能力事故链条的早期控制中心并不是没有技术系统。FirstEnergy 拥有完整的能源管理系统、监控数据和告警功能。问题在于调查报告显示其告警与日志软件在当天下午 2 时 14 分之后不久出现故障操作人员没有收到正常的声光告警因而没有及时意识到多条线路正在相继退出运行。于是系统进入了一种最危险的状态控制室认知的状态A线路在运行系统基本稳定 电网真实的状态 B线路已退出潮流正在重新分配系统认为自己处于状态 A现实已经进入状态 B——所有后续控制都建立在过期状态之上。这一步失守之后后面每一个正确决策都是在错误的输入上做出的。调度人员按 A 计算余量相邻区域按 A 评估风险可靠性协调机构按 A 判断是否需要介入。人和流程都没有失职只是他们看到的世界已经不存在了。对工程系统的直接推论是监控系统的健康状态本身就是一等公民的状态量。如果你的可观测性链路挂了而业务无感那么你系统的实际可靠性上限就是这条链路的可靠性——而它通常是全系统里被测试得最少的部分。2. Silence ≠ Safe没有告警不代表没有异常软件系统有一个根深蒂固的默认假设没收到告警 一切正常。这两个状态完全不同。没有告警至少有五种可能可能性真实含义确实无异常系统健康传感器失效采不到数据链路中断传不出告警进程崩溃发不了状态超出可解释范围认不出只有第一种是安全的其余四种全部是更危险的状态——因为它们同时关掉了你发现问题的能力。工程上的对策不复杂难的是把它当成硬约束而不是可选项告警链路自证健康心跳 dead mans switch。不是出问题时发消息而是每 N 秒必须证明自己还活着缺一次心跳即降级。静默本身触发告警某类事件的到达率长期为零应当被视为异常而不是今天很太平。观测缺失 → 权限收缩关键状态不可见时自动降低高风险操作的准入等级而不是维持原状。降级要外溢本地状态不完整时主动通知下游/相邻系统进入保守模式而不是自己扛。Missing 不能被解释为 Allow。系统不能因为没看见坏消息就继续按正常状态执行。3. 局部保护为什么会放大整体风险电网里的保护装置职责明确线路危险时切断设备不稳时隔离。从单个设备看这些动作百分之百正确。但一条线路退出后原本经过它的电力不会凭空消失。潮流会重新分配到其他线路上其他线路因此承受更大压力当新的线路也触及边界并退出电力再次重新分配。这个过程可以不断重复。线路 A 过载 → A 跳闸 → 潮流转移至 B、C ↓ B 负荷升高 → B 跳闸 → 潮流转移至 C、D ↓ C 负荷升高 → ...熟悉吧这就是重试风暴和负载转移雪崩的物理版本。一个实例被熔断流量转到剩余实例剩余实例因负载上升开始超时被熔断流量再次转移。每个熔断器都在正确地保护自己所在的节点整体却在加速崩溃。每一层都在保护自己整体却因此越来越危险。问题不是局部保护不该存在——没有保护第一次过载就烧设备了。问题是一个模块只知道自己的边界不知道自己的退出会把风险推给谁。一个可以直接用的设计原则任何拒绝 / 降级 / 退出动作都必须回答一个问题——我省下来的这部分压力去了哪里如果答案是转移给了同构的邻居那你构造的不是保护是传导。4. 局部合法推不出全局允许没有任何一个局部系统能够单独证明整个互联电网仍然安全。因为每个模块只能观察有限范围每个模块只对部分目标负责每个模块的安全动作会改变其他模块的输入。这是复杂系统的根本矛盾映射到工程侧同样成立单个审批通过 ≠ 整体执行安全单台设备校验通过 ≠ 组合状态安全单个 Agent 的动作合法 ≠ 多 Agent 联动安全每条策略单独成立 ≠ 所有策略叠加后仍然成立。最后一条尤其常见限流规则、重试规则、熔断规则、超时规则各自都经过评审组合起来却构成一个正反馈回路。这类问题不会在单元测试里出现只会在生产环境的某个下午出现。所以真正的执行控制必须有一层是面向组合状态的不只校验这个动作合不合法还要校验这个动作叠加到当前全局状态上之后系统是否仍然处于可控域内。5. 判断是有有效期的电网是动态系统。一条线路退出其他线路负荷立即变化一个区域发用电失衡频率和潮流随之改变。这意味着几分钟前正确的判断几分钟后可能已经失效。调查报告把操作人员未能充分理解系统恶化和缺乏有效的实时分析列为重要原因。注意措辞——不是没有规则而是规则和判断没有跟上现实状态的变化速度。工程上必须承认同一件事Allow 是有 TTL 的。审批在十分钟前完成 ≠ 当前设备状态仍然允许策略在请求产生时成立 ≠ 执行落地时仍然成立Agent 在规划阶段看到环境正常 ≠ 工具真正被调用时环境没变。def admit(action, now): # 1. 依据是否已过期——状态在变旧的 Allow 不能无限复用 if now - action.snapshot_ts ttl_for(action.op): return REVALIDATE ​ # 2. 上游/相邻系统是否已处于异常传播中 if any_upstream_degraded(action.targets): return SHRINK_RADIUS # 降半径执行而非直接放行 ​ # 3. 灾难半径与验证强度必须匹配 if blast_radius(action) tier_of(action.evidence): return REQUIRE_STRONGER_PROOF ​ return ALLOW高风险执行不能只验证一次。它必须在尽可能靠近执行的时刻重新确认状态是否仍然成立风险是否已经在传播这次执行会不会进一步扩大异常6. 隔离窗口级联的速度会超过人的反应局部故障并不必然发展成大规模事故。在传播早期系统通常还有相当多的手段降低负荷、重新调度出力、隔离部分区域、通知邻近控制中心、主动切分系统。所有这些动作都依赖同一个前提系统必须及时知道自己正在接近失稳。大停电的传播过程说明当本地控制中心没有形成正确状态判断、相邻区域又未获得充分信息时隔离窗口被一点点消耗。等到级联明显发生时系统状态变化的速度已经超过了操作人员用常规手段干预的速度。这条曲线在自动化系统里只会更陡阶段可用窗口恢复成本错误只影响单个任务充裕低错误开始调用其他服务 / Agent收缩中错误已修改多个系统的持久状态很小高错误进入资产、权限、物理设备接近于零极高看见风险和还有时间转向是两件事。真正的转向空间在级联开始之前。设计上的含义不要把干预能力全押在人在环内。人的反应时间是秒到分钟级而级联可以在毫秒到秒级完成一轮。自动隔离必须先于人工决策生效人工决策负责的是恢复不是阻断。7. 级联的本质失败获得了新的输入普通的单点失败停留在原地——一个服务挂了它就是挂了。级联失败不同它重写系统环境。线路 A 退出改变了线路 B 的负荷条件B 退出又改变了 C 的状态。每一次失败都为下一次失败创造了新的输入条件。这才是级联的定义性特征。而多 Agent 系统天然具备这个结构Agent A 输出错误结果 → 成为 Agent B 的上下文错误获得了事实身份 → B 据此修改配置 / 写入数据库 → 修改后的现实成为 Agent C 的输入错误获得了环境身份 → C 的动作又产生新的状态……错误在这个过程中完成了一次身份升级它不再只是一条错误消息在传播而是变成了环境的一部分从而不断为后续错误提供合理理由。到第三跳的时候没有任何一个 Agent 在犯错——它们都在忠实地响应自己观察到的世界。推论很直接复杂系统不能只验证每个动作本身是否正确还必须验证——这个动作产生的新状态会不会让下一步的风险更大。8. 熔断的哲学为了不整体失控必须允许局部停止电力和金融这两个高度互联的领域最后都收敛到同一类机制当系统进入异常传播状态时必须有办法切断反馈回路。金融市场里叫熔断电力系统里表现为受控切负荷、系统分区、保护协调和紧急操作。这些机制的核心不是保证服务永不中断。恰恰相反它们明确接受一个代价为了防止整体失控必须允许局部停止。这是很多技术组织在文化上过不去的一关。不允许交易暂停不允许服务降级不允许任务中断不允许关键流程进入等待——听起来是对可用性的坚持实际上是取消了系统主动收缩的能力。而一个永远不能主动收缩的系统只剩下一种退出方式被动崩溃。主动切断部分执行是控制被迫失去全部执行是失控。这两者之间的差别就是你是否提前为停止设计过路径。9. Fail-Secure 不是全部关机而是分层降级提到安全模式很多人的第一反应是出事就全停。对复杂基础设施而言这不现实——医院要供电通信要运行某些安全动作反而必须继续执行。成熟的 Fail-Secure 是分层的层级异常状态下的行为普通执行暂停高风险权限收缩缩小额度、缩小范围、缩短有效期关键能力保留但加强验证异常区域隔离传播链路切断整体系统进入可恢复的最小运行状态真正的韧性不是所有能力都继续保持而是在失败条件下系统仍然明确知道四件事什么必须停止、什么可以隔离、什么必须继续、什么绝对不能再向外传播。这四个清单如果不是提前写好的事故当天就一定来不及现场判断。10. 跨组织系统责任是分开的风险是连续的2003 年这次事故横跨多个公司、多个州和两个国家。电网物理上互联运营上却由不同实体负责每个控制中心掌握自己的系统每家公司有自己的设备和职责边界。但电力不会按照组织边界流动。一家公司的线路退出可能立刻改变另一个区域的运行状态。责任是分开的风险却是连续的。现代软件生态正在快速逼近同一结构一个企业用多个云厂商多个 Agent 跨系统调用不同供应商控制不同执行环节每一方只看到自己那段日志。当风险开始传播时可能没有任何一方拥有完整视图。需要提醒的是这不是建一个中央监控平台就能解决的。中心平台自己也会延迟、失效并且引入新的单点。更可行的方向是四条能力状态可跨边界验证——不是互相通报而是对方能独立核验风险可跨系统传递——上游降级信号要能被下游消费而不只是发个邮件每一层能证明自己看到的事实——出事后可对账而不是各执一词关键传播路径可被独立阻断——任何一方都能单方面切断不需要等全体同意。第 4 条最容易被组织政治拖掉但它是隔离窗口能否被用上的决定性条件。11. 每个动作都要知道自己的灾难半径把上面所有内容收成一条可落地的设计要求执行边界不能只回答这个动作是否允许还必须回答一组关于影响范围的问题。dataclass class Action: op: str targets: list[str] # 直接影响对象 fanout: int # 会触发的下游系统数量 reversible: bool # 是否可逆 persists: bool # 是否改变持久状态决定它能否成为他人的输入 snapshot_ts: float # 判断依据的采集时刻对应的准入梯度低风险、可逆、fanout 小 → 自动执行跨系统动作 → 需要更强验证大范围传播 →分批放行先小流量观察而不是一次全量不可逆动作 → 双人 / 多方共同裁决当前已处异常状态 →强制缩小执行半径宁可多跑几批。同时要有意识地设计传播拓扑这一层比速度限制更根本。几个必须能回答的问题一个 Agent 最多能调用多少下游系统一次策略更新能否一次性覆盖全部设备一个云端判断是否会同时作用于所有执行器一个节点失败后负载会转移到哪里转移目标是否同构下游是否知道上游已经处于异常状态如果所有节点都高度连接、同步更新、共享同一个信任源系统效率会非常高——共同失效半径也会同样大。可靠性要靠分区、限流、分批、独立验证和故意不同步的安全边界买回来。12. AI Agent 时代的级联执行失效未来的大规模 AI 事故大概率不会是某个超级模型突然失控。它更可能长得像一次停电一个 Agent 误判 → 一个 SaaS 接受了它的输出 → 一个自动化流程改了配置 → 监控把改动当成真实状态 → 更多 Agent 基于新状态继续行动。每个系统都在执行自己的局部逻辑没有一个 Agent 拥有完整控制权也没有一个 Agent 单独造成全部结果。但组织最终进入了一个没有人计划过的状态。这就是需要提前命名的风险类型Cascading Execution Failure执行级联失效。它的危险性不在于第一步有多严重而在于第一步能否不断改变后续每一步的执行条件。也正因如此传统的提高单点准确率路线对它几乎无效——把每个 Agent 的正确率从 95% 提到 99%只是把级联发生的频率降低不改变级联发生后的形态。真正有效的是限制传播让错误在跨越第一个边界时就被要求重新举证。结语2003 年这次停电不该只被读成树木、线路和一个崩溃的告警进程。这些因素解释了故障如何开始但解释不了为什么故障没有被限制在一个区域为什么系统没能及时形成正确的状态判断为什么局部保护动作在不断改变其他节点的处境为什么相邻系统没有在窗口关闭前完成隔离为什么一个州的问题最终影响到约 5000 万人答案不在任何单个组件里而在系统关系里网络高度互联负载会重新分配节点会互相影响局部安全动作会改变整体状态。当状态不可见、协调不足、边界无法及时收缩时失败就获得了传播能力。局部故障不可怕。没有传播边界的局部故障才会变成系统灾难。可靠的执行控制不只是让每个节点知道自己何时该拒绝更要让整个系统事先想清楚一件事当一个节点开始失效错误应该在哪里停下来。参考资料U.S.-Canada Power System Outage Task Force,Final Report on the August 14, 2003 Blackout in the United States and Canada: Causes and RecommendationsNERCFERC,Final Blackout Report, Chapter 5U.S. Department of Energy,August 2003 Blackout