高晓军：字节跳动兆瓦级算力系统架构设计
7 月 3 日由全球计算联盟GCC指导GCC-Open AI Infra 社区主办、益企研究院协办的超节点与 GW 级 AIDC 技术论坛暨 Open AI Infra 社区半年工作会议成功举办。本文根据Open AI Infra 社区管理委员会联席主席、字节跳动技术专家高晓军在大会上所做的演讲整理而成简单回顾了 AI Rack System 2.0 之外首次公开详细分享了字节跳动新一代兆瓦级智算系统。AI Rack System 2.0 回顾使能多样性算力在 2025 年 10 月 28 日 GCC-Open AI Infra 社区成立前字节跳动已经把当时开发中的 AI Rack System 2.0 贡献给了 GCC与社区成员共同撰写并发布了《GCC 液冷整机柜系统架构设计规范 - A 型》。AI Rack System 2.0 每机柜支持 240kW 供电通过两个机柜并柜实现 256 卡的超节点。该技术规范经过产品研发和验证已稳定成熟产品进入量产阶段。社区成员基于该技术规范目前已有多个产品完成了开发。AI Rack System 2.0 除了超节点 Scale-up 之外复用了超节点的 Rack、交换机等基础设施通过 Cable Tray 铜互连替代 Scale-out 光连接支持单机柜集成 256 XPU PCIe 卡等效 32 台传统 8 卡 PCIe 服务器。与传统 8 卡 PCIe Box 相比链路时延更低同时该设计节省了大量的光模块与光纤布线减少光链路故障点降低运维复杂度。目前该系统已经推进到了产品量产部署阶段。下一步字节跳动与 OAII 社区伙伴共同推进节点内 XPU 模组的标准化和原生液冷设计迈向兆瓦级的 新一代智算系统如上是已有产品 AI Rack System 2.0 的简要回顾接下来共同探讨下一代智算系统架构。从需求和技术演进看XPU 的封装尺寸、互连带宽、芯片和系统功耗将继续大幅度的增长。单芯片功率的提升叠加更大的互连规模单机柜功率、超节点功率推高到兆瓦级。兆瓦级算力系统AI Rack 3.0当前字节跳动与合作伙伴共同推进下一代兆瓦级算力系统的设计研发。如下图所示是兆瓦级算力系统 AI Rack 3.0 的概念设计整体规格比 AI rack 2.0 提升了 2 倍以上。AI Rack 3.0 通过 2 个机柜并柜支持最大 576 XPU 的 Scale-up 互连。SerDes 速率从 112Gbps 提升到 224Gbps系统双向总互连带宽达到 460TB/s。AI Rack 3.0 单机柜功率支持 500kW。为了尽量减少电源对 IT Rack 的空间占用采用 800V DC 电源输入。散热方面在单机柜功率达到 500kW 之后风液混合的散热方式已经无法满足需求必须推进全液冷的设计。内存、SSD 、DPU 、网卡等部件需要支持原生液冷设计和交付同时离散元器件也需要在无风扇的情况下解决散热需求。AI Rack 3.0 的机柜设计新一代 AI Rack 3.0 机柜尺寸延续了 600 毫米宽设计保持通用性面向全球交付部署支持整机柜交付模式。机柜前面水平横插的 36 个 Compute Tray后面垂直竖插 16 个 Switch Tray。Compute Tray 和 Switch Tray 之间通过 4 组 Cable Tray 连接。通过 Cable Tray 的解耦设计保持 Switch Tray 在常规尺寸便于运维。系统支持选配不同的 Cable Tray 数量支持灵活的带宽配置。每四个交换机对应一组 Cable Tray可以按需配置 4、8、12、16 不同交换机的数量。NPO 光互连超节点AI Rack 3.0 系统一方面会继续采用铜互连持续提升互连规模和带宽。另一方面也在光互连方向同步推进。AI Rack 3.0 系统采用 NPONear-Package Optics实现 Scale-up 光互连支持单层超大 Radix 互连规模、超高互连带宽例如 8 个计算柜和两个 Scale-up 网络柜实现 1024 XPU 的超节点。如上图所示是支持 NPO 的 Rack 机柜和节点。支持光互连的机柜设计、供电、液冷设计等与前述铜互连的机柜实现了共享归一保持数据中心基础设施的接口统一。因此NPO Rack 单机柜功率规划为 500kW支持 800V DC 的电源输入。XPU Tray 高度设计为 2UXPU Tray 内置光 Shuffle。Scale Up 光纤接口从节点后出降低机柜前面出线压力。2U XPU Tray 可以支持两进两出的快接头大幅提升系统散热能力。多方协作加速兆瓦级系统研发兆瓦级系统的设计实现和落地应用需要社区成员共同推进生态成熟。面对算力发展百花齐放需要社区共同推进 XPU FormFactor 标准化并协同推进高速互连、NPO、800VDC、高效液冷等关键技术的成熟加速实现兆瓦级系统产品的落地共创 AI Infra 未来。
