一、三大平台硬件核心定义与基准参数总表平台区分说明DGX SparkGB10 Grace Blackwell SoCARMBlackwell 融合 SoC统一内存 UMA 架构整机 240W 供电128GB LPDDR5x 统一内存第五代 Tensor Core原生 FP8/NVFP4 硬件支持ARM aarch64 嵌入式工作站单芯片算力 1000 TOPS NVFP4主打超大统一内存、低功耗迷你工作站、边缘大模型离线推理nvidia.cn。原生 Jetson Orin AGX 64GBAda Lovelace 嵌入式 SoC统一 LPDDR5 64GB带宽仅 204.8GB/s功耗 10–60W无原生 FP8 硬件加速面向车载 / 工业机器人端侧算力 INT4 仅 1100 TOPS内存带宽短板明显nvidia.cn。RTX 5090 32GGB202 Blackwell 桌面独显x86 PC 独立显卡32GB GDDR7 独立高速显存带宽 1.79TB/sPCIe5.0 x16满功耗 450W完整 Blackwell 桌面 CUDA/TRT-LLM/vLLM 栈FP8、FlashAttention3、PagedAttention、MoE 深度优化单机高并发、低时延推理标杆。硬件规格横向对比表表格指标DGX Spark GB10原生 Orin AGX 64GBRTX 5090 32G架构Grace BlackwellARMBlackwell GPUAda Lovelace 嵌入式 SM89Blackwell GB202 SM100 桌面独显内存架构128GB LPDDR5x 统一内存 UMA带宽 273GB/s64GB LPDDR5 统一内存 UMA204.8GB/s32GB GDDR7 独立显存带宽 1790GB/sAI 算力稀疏FP4/NVFP4 1000 TOPS原生 FP8INT4 1100 TOPS无硬件 FP8INT4 ≥5600 TOPSFP8 硬件全速TDP 功耗整机 240W芯片 140W10/30/60W 三档可调显卡 450W整机数百瓦CPU 架构20 核 ARMv9.2X925A72512 核 ARM Carmelx86 桌面 CPU 独立GPU 无绑定 CPU软件推理栈ARM 版 TRT-LLM、vLLM、TensorRTFP8 存在 ARM 内核兼容限制JetPack 嵌入式裁剪 TRT-LLMFP8 仅软件模拟x86 完整 CUDA/TensorRT/TRT-LLM/vLLM/SGLang全算子原生硬件加速高阶算子原生支持FlashAttention2PagedAttention 可用但内存开销大MoE 路由 ARM-CPU 辅助精简 FlashAttention2高并发 / MoE 极易 CPU 回退FlashAttention3、FP8 Attention、完整 PagedAttention、MoE 全 GPU 路由、128k 超长序列优化最大承载模型INT4128GB 统一内存稳定跑 130B–200B64GB 统一内存上限 34B70B 频繁交换 OOM32GB 独立显存稳定 70BKV 量化可拓展超大上下文并发推理分支上限8–20 条受 UMA 带宽限制2–8 条30–80 条高并发无明显衰减拓展能力200Gbps ConnectX-7 双机互联无独显插槽MIPI 工业摄像头、窄供电无独显扩展PCIe 多卡、机房分布式推理、多 GPU 集群二、标准化性能评测 5 大核心维度含指标定义、打分规则、平台判定标准总分 100 分权重固定推理时延 吞吐量35 分2. 量化精度与显存利用率20 分3. 算子 框架优化能力20 分4. 模型规模 并发分支承载15 分5. 功耗能效 场景适配稳定性10 分维度 1推理时延 吞吐量权重 35 分对话场景核心标准评测指标定义TTFT首 Token 时延ms输入 Prompt 至输出第一个 token 耗时交互体验核心数值越小越好。TPOT单 Token 生成时延ms/token增量生成阶段平均单 token 耗时长文本生成核心。吞吐量 Tokens/s单设备稳定并发下每秒生成 token 总量批量服务核心。测试基准约束统一 TRT-LLM输入 Prompt512token输出 1024/4096/32768token统一量化 INT4-AWQOrin 锁 60W 满功耗GB10 整机满载5090 满功耗。平台性能判定规则RTX 5090 32G满分梯队TPOT 1.8–4ms/tokenTTFT 极低吞吐量为 GB10 3–6 倍、Orin 5–12 倍独立超高显存带宽长序列时延衰减平缓。DGX Spark GB10中等偏上TPOT 7–16ms/token超大统一内存消除大模型 OOM但 UMA 带宽瓶颈显著双机互联可叠加内存适合超大参数量低并发场景。原生 Orin AGX短板梯队TPOT 12–29ms/token高温持续负载降频时延上涨 20%–35%带宽最低长文本性能断崖下跌。扣分规则吞吐量低于最优平台 50% 扣 10 分TTFT200ms 每次扣 3 分连续 2h 负载时延波动30% 扣 5 分。维度 2量化方案适配 显存利用率权重 20 分评测子指标量化格式硬件原生支持FP16 / INT8 / INT4-AWQ/GPTQ/ FP8 / NVFP4 / KV Cache 量化量化加速比FP16 基线速度 ÷ 量化后推理速度精度损失同模型 PPL 困惑度涨幅涨幅越低量化质量越好显存承载上限不同量化下稳定运行最大参数量、OOM 临界上下文长度平台差异判定规则RTX 5090 32G硬件原生全速 FP8/NVFP4INT4 加速比 4.5–7.5 倍独立显存无 CPU 内存争抢FP8 可稳定 34BINT4 稳定 70BKV 量化收益最大化。DGX Spark GB10硬件支持 FP8但 ARM 架构 TRT-LLM 存在内核兼容 bugFP8 推理易崩溃INT4 加速比 3.5–5.5 倍128GB 超大统一内存INT4 可本地 200B 大模型UMA 内存读写开销拉高显存占用。原生 Orin AGX无硬件 FP8仅软件模拟速度大幅衰减INT4 加速比 3–5 倍仅 64GB 内存34B 以上模型频繁内存交换显存利用率低下。量化扣分标准无原生 FP8 硬件加速扣 3 分FP8 推理存在兼容性故障额外扣 4 分同等量化下显存交换频繁、PPL 涨幅10% 扣 5 分。维度 3算子优化 推理框架适配权重 20 分评测子项Transformer 基础算子RoPE、LayerNorm、MLP、MQA/GQA硬件加速覆盖率PagedAttention 分页注意力多并发刚需运行效率、内存碎片控制MoE 混合专家模型路由算子加速全 GPU/CPU fallback 比例FlashAttention 版本、超长上下文算子32k/128k优化程度自定义 CUDA Kernel 编译、ARM/x86 跨平台兼容性分级判定规则RTX 5090 32G满分档FlashAttention3、FP8 Attention 完整硬件加速PagedAttention 深度优化高并发无碎片MoE 路由全 GPU 执行无 CPU 回退128k 长序列算子原生适配x86 软件生态完全成熟。DGX Spark GB10中等档仅 FlashAttention2PagedAttention 可用但统一内存开销更高MoE 路由部分逻辑下沉 ARM CPU速度衰减ARM 版 TRT-LLM 部分 FP8 算子存在 autotuner 报错框架适配存在限制。原生 Orin AGX短板档嵌入式裁剪 TensorRT简化版 FlashAttention2并发提升后 Attention 大量切 CPUMoE 几乎全 CPU 路由速度暴跌长上下文无专用融合算子。维度 4模型参数量承载 推理并发分支大小权重 15 分定义推理分支大小 单设备可同时稳定运行的独立对话会话时延涨幅≤20% 视为有效并发核心评测指标单设备稳定最大推理参数量FP16/INT8/INT4 三档量化单轮最大上下文窗口4k/8k/32k/128k OOM 临界长度最大有效并发对话分支数多分支总 KV Cache 承载容量平台对比规则RTX 5090 32G独立高速显存有效并发 30–80 条32k/128k 上下文性能衰减平缓INT4 稳定 70B适合多用户在线对话服务。DGX Spark GB10超大内存优势128GB 统一内存INT4 可本地跑 200B 超大模型但 UMA 带宽瓶颈有效并发仅 8–20 条适合单会话超长文本、离线批量超大模型推理。原生 Orin AGX 64GB内存容量与带宽双重限制有效并发仅 2–8 条上下文超过 32k 时延翻倍INT4 上限 34B仅适配 7B/13B 轻量模型低并发场景。维度 5功耗能效 场景适配稳定性权重 10 分评测指标能效指标Tokens/W单位功耗推理产出边缘场景核心长时间负载稳定性连续 2h 推理时延波动幅度部署环境约束供电功率、体积、工业 IO、散热、机房拓展能力判定标准能效排序原生 Orin AGX60WDGX Spark GB10140WRTX 5090450WOrin 单位功耗算力最优户外低供电场景独有优势5090 绝对吞吐高但能效最差。长时间稳定性排序RTX 5090 32G DGX Spark GB10 原生 Orin AGXGB10 整机散热充足持续满载无大幅降频裸 Orin 模组散热差高温性能衰减严重。场景扣分规则车载 / 户外无市电场景RTX5090 直接扣满 10 分机房高并发在线服务Orin、GB10 总分减半超大参数量离线推理100BOrin 直接扣 8 分。三、三大平台综合得分区间标准测试7B/34B/70B INT4RTX 5090 32G88–96 分适用桌面本地 AI、在线多并发对话、机房批量推理、70B 模型高吞吐、FP8 高精度推理全场景无短板仅功耗、体积劣势。DGX Spark GB1070–82 分适用迷你工作站、超大参数量100B–200B离线推理、低功耗室内离线场景优势是 128GB 统一内存短板是 UMA 带宽、ARM 软件兼容性、并发上限。原生 Orin AGX 64GB60–69 分适用车载、工业机器人、户外低功耗终端仅适合 7B/13B 小模型、单会话短文本推理算力、带宽、并发全面受限。四、分场景平台筛选评价规则权重倾斜方案场景 1机房 / 桌面在线多用户对话、高吞吐、70B 以内模型权重倾斜时延、吞吐量、并发分支、算子优化 最优RTX 5090 32GGB10 仅超大模型备选Orin 不推荐场景 2离线超大模型本地推理100B–200B、单会话超长文本权重倾斜内存容量、最大支持参数量、能效 最优DGX Spark GB105090 显存不足Orin 内存容量完全不达标场景 3车载 / 工业机器人、户外无大功率供电、多路视觉流 LLM权重倾斜低功耗、小型化、工业 IO、宽电压适配 最优原生 Orin AGXGB10 功耗偏高RTX5090 直接淘汰场景 4企业迷你离线 AI 工作站、室内 220V 低功耗、兼顾 34B–70B 模型权重倾斜内存容量、整机功耗、长时间稳定性 最优DGX Spark GB105090 功耗超标Orin 内存不足五、统一可复现评测执行规范横向对比标准流程测试模型7B / 13B / 34B / 70B / 120B 开源 LLM量化档位FP16、INT8、INT4-AWQ、KV Cache INT4、FP8仅 GB10/5090上下文组合输入 512token输出 1024 / 4096 / 32768 token功耗约束Orin15W / 30W / 60W 三档独立测试DGX Spark GB10整机满载 140W 芯片功耗RTX5090显卡 450W 满功耗统一推理框架TensorRT-LLM消除 vLLM/Transformers 框架差异必采集数据清单TTFT、TPOT、Tokens/s、峰值统一 / 独立显存占用、整机功耗、PPL 精度、OOM 临界上下文长度、最大有效并发分支数、长时间时延波动幅度、FP8 算子报错 / 崩溃情况。六、平台优劣总结速览RTX 5090 32G绝对时延、并发、算子优化天花板短板显存容量仅 32G、功耗极高无法跑 200B 级超大模型。DGX Spark GB10超大统一内存唯一优势可本地 200B 推理短板 ARM 生态 FP8 兼容性、UMA 带宽拉低并发速度。原生 Orin AGX极致低功耗、工业 / 车载 IO 原生适配算力、内存、带宽全面落后仅轻量边缘场景可用。