最近欧洲人疯抢中国空调的消息备受关注然而最需要空调的或许是AI超算。远在英国就发生了这样一件事英国最强AI超算之一的Dawn在30多度高温下直接瘫了整整一周。这台位于剑桥大学的超算有着豪华的标签它是英国政府3亿英镑国家AI算力计划的核心组成部分配备1024块Intel GPU、256台液冷服务器已支撑了超过350个科研项目。今年1月它刚获得3600万英镑的扩容升级预计性能将提升6倍。但6月底一波热浪袭来它就歇菜了。更具戏剧性的是这台超算上正在进行的研究包括气候变化模拟。用来预测全球变暖的机器却被全球变暖打败了。今年6月英国遭遇了有记录以来最猛的六月热浪。6月26日诺福克地区的林伍德镇气温达到37.7°C打破了1957年和1976年保持的35.6°C六月纪录。英国气象局罕见地发布了连续三天的红色极端高温警告1000多所学校停课铁路信号因高温故障公路路面开始融化。6月27日随着当日热浪峰值降临Dawn超算所在的剑桥西区数据中心冷却系统顶不住了。林伍德和剑桥都在英格兰东部相距大约103公里Dawn就此停摆。事件发生后剑桥大学发言人表示Dawn遭遇了热天气期间的技术问题冷却能力已完全恢复预计访问将于7月6日重新开放。从6月27日到7月6日Dawn整整“冷却”了一周多。对于一台每小时都在烧钱、每一秒都在推进科研进度的超算来说这一周的停摆影响巨大。受影响最深的项目已经显现。剑桥大学Vendruscolo教授的团队正在用Dawn做帕金森新药分子筛查。Dawn的机器学习能力可以在几天之内筛查数十亿个分子寻找能与帕金森相关蛋白聚集体结合的化合物。如果用传统方法半年起步花费数百万英镑而且只能覆盖Dawn几小时就能扫完的一小部分。停机一周意味着这条救命的流水线直接停转。牛津大学的Lennard Lee是英国癌症疫苗AI与超算项目的负责人他的团队拿到了Dawn 10000个GPU小时的算力配额用AI加速个性化癌症疫苗的靶点发现。Lee此前表示以前需要几年才能完成的发现现在只需要几周。虽然事后Lee表示没有数据丢失也不需要重做工作但他话语中的庆幸本身就说明了问题的严重性。此外英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了……Dawn上面跑的350多个项目几乎无一幸免。而造成这一切的不过是37.7°C。那么谁应该为这起事件负责呢Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后USystems声明称他们的设备在整个事件中完全按照设计规格运行表现正常。也就是说散热出现问题但不赖他们设备本来就不是按这个温度设计的。这究竟是设计标准太保守还是气候变化太快答案可能是两者皆有。英国六月的历史极端温度只有35.6°CDawn的冷却系统大概率就是按这个量级设计的。37.7°C超出了设计标准而且这个“超标”来得毫无预警因为上一次达到这个纪录还是在接近50年前。另外Dawn也不是唯一的受害者。同一周英国朴次茅斯的Queen Alexandra医院冷却机组故障宣布紧急事件。手术室、心导管室、影像科都停了医院还让患者自带大量饮用水因为医院非常热。诺福克与诺里奇大学医院简称NNUH更惨所有MRI扫描仪的冷却系统因高温高湿全部失灵至少254个门诊被取消。从某种程度上而言不是超算脆弱而是英国的整个温控基础设施都没为这种天气做好准备。Dawn被热瘫这件事如果放在更长的时间线上看并不意外。2022年7月英国遭遇了当时的史上最热天40.3°C。Google伦敦数据中心的冷却系统“多个冗余系统同时失效”被迫关机保护硬件Google Cloud伦敦区域服务中断超过18小时才完全恢复。Oracle伦敦南区数据中心同天瘫痪Oracle的声明用了“非季节性高温”这个词。2022到20264年过去了类似事件再次上演。实际上30多度搞瘫一台超算散热是最难突破的瓶颈。尤其对欧洲地区来说设备普遍采用自然冷却这种方式天然受限于室外自然温度。所有散热系统不管多先进最终都要把热量倒给室外空气室外空气温度是整条链的终极瓶颈。链路展开为芯片把热量传给散热器散热器传给冷却液或空气冷却液传给冷却塔冷却塔传给大气。大气是最后一个接盘侠。当大气温度达到37°C时它就开始难以承接热量了。具体来说当室外温度从20°C飙到37°C冷却塔和干冷器的散热效率可能骤降40%到50%。有人会问咋不开空调因为压缩机在高温下效率下降、电流升高容易过热跳闸。Oracle 2022年的事故报告原话就是两台冷却机组在被要求超出设计极限运行时发生了故障。Dawn这次的情况合理推测可能也类似。它用的Dell PowerEdge XE9640服务器配备了直接液冷系统这是比传统风冷先进得多的散热方案。冷却液直接贴着芯片表面流过带走热量的效率远高于吹空气。但液冷解决的是机架内部的效率热量被冷却液带走之后仍要通过冷却分配单元、设施冷水回路、冷却塔一路传递到室外大气。最后一环还是受制于室外温度。而冷却系统一旦停摆后续还会导致一系列连锁反应。研究数据显示冷却系统一旦停机5分钟内服务器入口温度就能从22°C飙升到35°C以上。遇到这种情况芯片会启动自保先降频thermal throttling主动降低运行速度减少发热性能暴跌如果温度继续涨超过安全阈值就会强制关机。运营商这时只有两个选择让设备自己断电可能损坏数据主动有序关机保护硬件但业务停摆。Google、Oracle、剑桥Dawn都选了后者。随着AI数据中心不断“膨胀”温度对AI的影响可能会越来越显著。传统数据中心一个机架的功率密度大约5到10千瓦但AI训练机架已经到了30到50千瓦Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦下一代Rubin可能到600千瓦。一个AI机架100千瓦的发热量相当于在一个电话亭大小的空间里同时开50台电暖器。更麻烦的是GPU本身正在变得越来越“热”。2017年的Nvidia V100大约300瓦2023年的H100跳到700瓦2024年的B200达到1000瓦2025到2026年的B300和AMD MI355X直接拉到1400瓦。七年时间单芯片发热翻了3到5倍。所以不管是从数量还是单个芯片来讲随着AI变强它就越怕热、越需要散热。至此可以发现两条正在对撞的曲线芯片在指数级变热地球也在加速变热。事情变得更加棘手了。Google早在2011年就跑去芬兰建数据中心Meta去了瑞典北部就是为了用寒冷气候做天然散热。马斯克更是想到了要去太空建AI数据中心。但英国政府今年1月刚给Dawn砸了3600万英镑扩容还在规划爱丁堡的新国家超算。这些设施的散热设计是按上一个时代的英国夏天算的还是按正在到来的新常态谁也说不好。但有一件事是确定的用来预测气候变化的超算被气候变化热停了。这已经不是一个段子这是AI时代基础设施面临的真实课题。