Qwen3.5-9B PD 分离 Benchmark 汇总

📅 2026/7/4 19:42:06
Qwen3.5-9B PD 分离 Benchmark 汇总
Qwen3.5-9B PD 分离 Benchmark 汇总测试环境:2 × 8×H100 (H100-003 Prefill, H100-004 Decode),TP=1,Mooncake RDMA1. 单条请求 — 不同 Prompt 长度Prompt 长度实际 tokensTTFTTPOT吞吐总耗时短 (~25 tok)1649.1 ms6.4 ms153.5 tok/s3.34 s中 (~500 tok)85066.9 ms6.4 ms152.3 tok/s3.36 s长 (~2.5k tok)6,33080.1 ms6.5 ms150.3 tok/s3.41