2026年8月8日HeteroFlow v2推理服务正式发布支持11种GPU品牌、5种推理引擎的统一调度。在此之前做聚合API服务的团队面临一个尴尬局面国产芯片昇腾、寒武纪、海光DCU推理性能已经能打到H100的80%以上价格只有后者的60%-70%但没人敢用。不是因为性能差是因为没法混着用。英伟达跑CUDA昇腾跑CANN寒武纪跑MagicMind——三套东西互不兼容。同一份PyTorch代码要在不同芯片上跑通得分别移植、分别调优、分别维护。算算人力成本省下来的显卡钱全贴进去了。HeteroFlow解决的就是这个问题在调度层统一纳管多品牌GPU上层应用一套代码底层自动分配到对应的芯片上执行。下面从技术实现角度拆解这套调度层是怎么设计的。一、架构概览把HeteroFlow放在整个技术栈里看位置是这样的向下对接11种GPUNVIDIA、华为昇腾、海光DCU、寒武纪、摩尔线程、壁仞、AMD、昆仑芯、燧原、沐曦、天数智芯每种芯片有自己的驱动、SDK、推理引擎向上提供一套OpenAI兼容的API应用层无需关心底层跑在哪块卡上中间这一层做两件事硬件抽象 智能路由。接到一个推理请求判断它适合跑在哪种芯片上调用对应runtime执行返回结果。对API服务商来说收益很直接不用为每种芯片维护一套部署环境一套代码、一套配置按策略把流量分配到不同算力池里。二、硬件纳管层11种GPU的统一接入异构调度的第一步是“能认出来”。HeteroFlow的Agent部署在每个算力节点上启动后自动检测节点的GPU类型、型号、显存容量、驱动版本。检测方式NVIDIAnvidia-smi华为昇腾npu-smi寒武纪cnmon摩尔线程mthreads-gmi海光DCUhy-smi壁仞birensmi所有硬件资源被抽象成统一模型——显存大小、算力比例、拓扑结构NVLink/HCCS都被标准化上层调度器不再感知底层差异。一个混合了NVIDIA A100和华为昇腾910的集群在调度视图里就是一个统一的资源池。三、推理引擎路由不同GPU配不同的“翻译官”硬件纳管之后下一个问题即使同一份PyTorch代码能跑在不同芯片上推理引擎也各不相同。vLLMNVIDIA主流、SGLang、llama.cpp、MINDIE华为昇腾专用、vLLM-MTT摩尔线程专用每家引擎有不同的启动参数和优化策略。HeteroFlow的策略是根据硬件自动选择最优引擎GPU类型 推荐引擎 原因NVIDIA CC≥8.0A100/H100 vLLM PagedAttention吞吐最高NVIDIA CC≥7.5T4 SGLang RadixAttentioncontinuous batchingNVIDIA CC6.0P100 llama.cpp vLLM不支持老卡华为昇腾910 MINDIE 厂商专用引擎性能最优摩尔线程MTT vLLM-MTT 厂商专用其他 Transformers兜底 device_map‘auto’这套机制的价值API服务商部署时只需要指定模型平台自动为每张卡选好引擎并启动不需要运维熟悉每一种引擎的细节。四、调度引擎任务怎么分到最合适的卡调度是HeteroFlow最核心的模块。插件化设计采用五阶段流水线处理每个调度决策PreScore → Filter → Score → PostScore → Bind。内置调度插件BinPack装箱优先把任务塞到已使用的节点最大化单节点利用率Spread分散把任务均匀分散到各节点提升容错性Topology拓扑感知感知NVLink/NUMA拓扑优化多卡通信效率GPU Filter型号过滤指定某些任务只能跑在特定型号上Resource Filter资源过滤根据显存、GPU数量等硬约束过滤节点实际API服务场景里最常用的是“规则路由”——通过YAML配置匹配规则决定什么任务走哪类芯片yaml#低延迟小请求 → 英伟达match:batch_size: “4”latency_sla: “150ms”target: “nvidia”大批量离线任务 → 国产芯片match:batch_size: “32”latency_sla: “3s”target: “huawei_ascend”手动配置规则的方式对生产环境更可靠——运维能明确知道流量走向故障时快速定位。同时支持按流量权重做灰度发布新版本模型先接10%流量验证再逐步放量。五、GPU分片与弹性让每张卡物尽其用GPU卡贵能不能一张卡同时跑多个任务HeteroFlow实现三级QoS分片等级 隔离方式 适用场景Gold 硬件隔离MIG/vNPU/vMLU/vGPU 高性能推理、独占训练Silver 驱动虚拟化MPS/HAMi 共享推理中等隔离需求Bronze 软件分片显存记账 开发测试、离线批处理Gold级利用NVIDIA MIG、昇腾vNPU、寒武纪vMLU等硬件虚拟化技术实现显存和算力的物理隔离。Bronze级通过显存记账和环境变量注入实现逻辑分片适合开发测试。弹性方面支持模型热加载和休眠唤醒模型空闲超阈值默认30分钟自动休眠释放GPU显存新请求到达时毫秒级唤醒重新加载到显存滚动更新支持零停机切换API服务流量通常有5-10倍峰谷差这套机制的价值低谷期自动释放闲置显存高峰期自动扩容不需要人工干预。六、两个技术拓展方向HeteroFlow的“异构”在向外延伸两个值得关注的方向CPUGPU协同调度英特尔基于HeteroFlow框架构建了“CPUGPU”异构LLM服务方案将MoE混合专家模型中内存密集型的专家路由任务卸载到至强6 CPU上执行GPU专注Attention和Dense MLP部分。实测在单张24G显存显卡上可运行671B大模型支持5并发51 Token/秒。核心突破是打破了“推理必须全量驻留GPU显存”的限制把CPU的大内存优势用起来了。得益于至强6 CPU内置的AMX高级矩阵扩展技术加速MoE任务的卸载效率得到进一步提升。量子/原子算力调度HeteroFlow路线图中包含对量子计算和原子计算资源的调度支持目标是实现“经典GPU量子硬件原子计算”的混合工作流编排。目前仍处于路线图阶段但说明“异构”的内涵正从“多品牌GPU”扩展到“多种计算范式”。在HeteroFlow的规划中量子电路执行任务可以通过Qiskit、OpenQASM等标准格式提交平台自动选择IBM Quantum、本源量子或国盾量子等后端支持失败时自动降级到GPU模拟器重试。七、总结HeteroFlow这类异构调度层的设计核心就是三件事硬件纳管Agent自动识别11种GPU把不同厂商的硬件抽象成统一资源模型引擎路由根据GPU型号自动匹配最优推理引擎一套配置覆盖全型号调度策略插件化调度引擎支持规则配置让API服务商自己决定什么任务跑什么卡对聚合API平台和模型推理团队来说解决了一个实际问题不用在“高价英伟达”和“低价但没法混用”之间二选一了。异构算力混部这件事从自己搭架子变成了开箱即用。。