英国最强AI超算Dawn高温停摆事件最近欧洲人疯抢中国空调的消息相当火热但有一种观点认为最需要空调的可能是AI超算。远在英国英国最强AI超算之一的Dawn在30多度高温下直接瘫了整整一周。这台坐落在剑桥大学的超算是英国政府3亿英镑国家AI算力计划的核心组成部分拥有1024块Intel GPU256台液冷服务器已经支撑了超过350个科研项目。今年1月它刚拿到3600万英镑的扩容升级预计性能将提升6倍。然而6月底一波热浪来袭它就歇菜了。事件背景与经过今年6月英国遭遇了有记录以来最猛的六月热浪。6月26日诺福克地区的林伍德镇热到了37.7°C打破了1957年和1976年保持的35.6°C六月纪录。英国气象局罕见地发布了连续三天的红色极端高温警告1000多所学校停课铁路信号因高温故障公路路面开始融化。到6月27日随着当日热浪峰值降临Dawn超算所在的剑桥西区数据中心冷却系统顶不住了林伍德和剑桥都在英格兰东部相距大约103公里Dawn就此停摆。超算停摆的影响事件发生后剑桥大学发言人表示Dawn遭遇了热天气期间的技术问题冷却能力已完全恢复预计访问将于7月6日重新开放。从6月27日到7月6日Dawn整整「冷却」了一周多。这对一台每小时都在烧钱、每一秒都在推进科研进度的超算来说影响巨大。剑桥大学Vendruscolo教授的团队正在用Dawn做帕金森新药分子筛查Dawn的机器学习能力可以在几天之内筛查数十亿个分子寻找能与帕金森相关蛋白聚集体结合的化合物若用传统方法则半年起步花费数百万英镑且只能覆盖Dawn几小时就能扫完的一小部分。停机一周意味着这条救命流水线直接停转。牛津大学的Lennard Lee英国癌症疫苗AI与超算项目的负责人他的团队拿到了Dawn 10000个GPU小时的算力配额用AI加速个性化癌症疫苗的靶点发现。虽事后Lee表示没有数据丢失也不需要重做工作但他话语中的庆幸说明了问题的严重性。此外英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了Dawn上面跑的350多个项目几乎无一幸免。责任归属与问题分析Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后USystems声明其设备在整个事件中完全按照设计规格运行表现正常即散热崩了但不赖他们设备本来就不是按这个温度设计的。英国六月的历史极端温度只有35.6°CDawn的冷却系统大概率就是按这个量级设计的37.7°C超标了且这个「超标」来得毫无预警因为上一次达到这个纪录还是在接近50年前。同一周英国朴次茅斯的Queen Alexandra医院冷却机组故障宣布紧急事件手术室、心导管室、影像科都停了医院让患者自带大量饮用水诺福克与诺里奇大学医院简称NNUH更惨所有MRI扫描仪的冷却系统因高温高湿全部失灵至少254个门诊被取消。所以从某种程度上而言不是超算脆弱而是英国的整个温控基础设施都没为这种天气做好准备。散热瓶颈与连锁反应Dawn被热瘫这件事放在更长时间线上看并不意外。2022年7月英国遭遇当时的史上最热天40.3°CGoogle伦敦数据中心的冷却系统「多个冗余系统同时失效」被迫关机保护硬件Google Cloud伦敦区域服务中断超过18小时才完全恢复Oracle伦敦南区数据中心同天瘫痪其声明用了「非季节性高温」一词。2022到20264年过去了类似事件再次上演。实际上30多度搞瘫一台超算最难突破的瓶颈就是散热。尤其对欧洲地区来说设备普遍采用自然冷却受限于室外自然温度。所有散热系统最终都要把热量倒给室外空气室外空气温度是整条链的终极瓶颈链路为芯片把热量传给散热器散热器传给冷却液或空气冷却液传给冷却塔冷却塔传给大气大气是最后接盘侠。当大气温度达到37°C时就开始接不住了当室外温度从20°C飙到37°C冷却塔和干冷器的散热效率可能骤降40%到50%。而且压缩机在高温下效率下降、电流升高容易过热跳闸Oracle 2022年的事故报告就提到两台冷却机组在被要求超出设计极限运行时发生了故障Dawn这次情况合理推测可能也类似。它用的Dell PowerEdge XE9640服务器配备了直接液冷系统比传统风冷先进得多但液冷解决的是机架内部的效率热量最终仍要传递到室外大气受制于室外温度。冷却系统一旦停摆后续会导致连锁反应研究数据显示冷却系统停机5分钟内服务器入口温度就能从22°C飙升到35°C以上芯片会启动自保先降频主动降低运行速度减少发热性能暴跌如果温度继续涨超过安全阈值就会强制关机。运营商这时只有让设备自己断电可能损坏数据和主动有序关机保护硬件但业务停摆两个选择Google、Oracle、剑桥Dawn都选了后者。AI发展与散热难题随着AI数据中心不断「膨胀」温度对AI的影响可能会越来越显著。传统数据中心一个机架的功率密度大约5到10千瓦但AI训练机架已经到了30到50千瓦Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦下一代Rubin可能到600千瓦一个AI机架100千瓦的发热量相当于在一个电话亭大小的空间里同时开50台电暖器。而且GPU本身正在变得越来越「热」2017年的Nvidia V100大约300瓦2023年的H100跳到700瓦2024年的B200达到1000瓦2025到2026年的B300和AMD MI355X直接拉到1400瓦七年时间单芯片发热翻了3到5倍。所以不管是从数量还是单个芯片来讲随着AI变强它就越怕热、越需要散热。至此能发现两条正在对撞的曲线芯片在指数级变热地球也在加速变热事情变得更加棘手。Google早在2011年就跑去芬兰建数据中心Meta去了瑞典北部马斯克更是想到要去太空建AI数据中心。但英国政府今年1月刚给Dawn砸了3600万英镑扩容还在规划爱丁堡的新国家超算这些设施的散热设计是按上一个时代的英国夏天算的还是按正在到来的新常态谁也说不好。但可以确定的是用来预测气候变化的超算被气候变化热停了这是AI时代基础设施面临的真实课题。