AI 推理引擎横向评测 2024vLLM、TGI、llama.cpp 与 TensorRT-LLM 的综合对比一、推理引擎选型的工程痛点AI 推理引擎的选型不是选最快的而是在延迟、吞吐、显存、生态、部署复杂度五维空间中找到最优平衡点。四个主流引擎各有优势vLLM 吞吐最高PagedAttention、TGI 生产稳定性最好HuggingFace 生态、llama.cpp 本地部署最灵活无 GPU 依赖、TensorRT-LLM 单请求延迟最低NVIDIA 专用优化。七月对四个引擎进行了系统性基准测试发现性能排名随场景变化——vLLM 在高并发场景吞吐最高但单请求延迟不如 TensorRT-LLMllama.cpp 在 CPU 场景无可替代但 GPU 场景不如其他三个。二、四个引擎的架构差异对比模型从架构层面分析四个引擎的设计差异理解性能差异的根因。vLLM吞吐优先的架构vLLM 的核心创新是 PagedAttention——将 KV Cache 按虚拟内存式的页管理消除了预分配浪费。combined with continuous batchingvLLM 的 GPU 利用率可达 90%。架构特点Python 为主 CUDA kernel 优化API 服务基于 FastAPI。优势场景高并发QPS 100、变长序列对话/生成、显存容量有限PagedAttention 减少浪费。劣势场景单请求延迟continuous batching 的排队开销、GPU 不可用场景不支持 CPU 推理、非 NVIDIA GPUCUDA 专用。TGI生态优先的架构TGIText Generation Inference是 HuggingFace 的推理服务核心优势是生态集成——直接加载 HuggingFace Hub 的模型支持 safetensors 格式内置 token streaming。架构特点Rust 服务框架 Python 推理核心Flash Attention 优化。优势场景HuggingFace 模型部署一键加载、生产稳定性Rust 框架健壮、token streaming实时生成体验。劣势场景非 HuggingFace 模型需转换格式、极致吞吐不如 vLLM 的 PagedAttention、非 NVIDIA GPU同样依赖 CUDA。llama.cpp灵活优先的架构llama.cpp 是纯 C 实现无 Python/GPU 依赖。核心优势是灵活性——支持 CPU/Metal/CUDA/Vulkan 多后端支持多种量化格式Q4_0 到 FP16单文件部署。架构特点C 核心计算 ggml 量化格式 多后端抽象。优势场景CPU 推理无可替代、Apple SiliconMetal 加速、边缘设备无 GPU 环境、开发调试单文件快速启动。劣势场景高并发吞吐无 continuous batching、大模型推理缺少 tensor parallel、生产级服务化无内置 API 服务。TensorRT-LLM延迟优先的架构TensorRT-LLM 是 NVIDIA 的专用推理引擎核心优势是延迟——预编译的 CUDA kernel Tensor Core 极致利用 静态形状优化。架构特点模型编译为 TensorRT engine预编译运行时仅执行预编译的 kernel。优势场景单请求延迟最低、NVIDIA GPU 极致利用、延迟敏感的在线推理。劣势场景编译时间长模型编译需 10-30 分钟、不支持动态形状需固定 batch size 和序列长度、非 NVIDIA GPU完全不支持、模型更新需重新编译。三、基准测试框架与对比实现以下代码展示系统性基准测试框架覆盖延迟、吞吐、显存三维度。/// 推理引擎基准测试配置 struct EngineBenchmark { engine: InferenceEngine, model: ModelSpec, hardware: HardwareProfile, // 测试场景配置 scenarios: VecTestScenario, } enum InferenceEngine { VLLM, TGI, LlamaCpp, TensorRTLLM, } struct TestScenario { name: String, concurrency: u32, prompt_length: u32, max_output_length: u32, } /// 基准测试结果三维度对比 struct BenchmarkResult { engine: InferenceEngine, scenario: TestScenario, // 首 token 延迟Time to First Token ttft_ms: f64, // 每 token 生成延迟 tpot_ms: f64, // P99 延迟 p99_latency_ms: f64, // 吞吐量 tokens/s throughput: f64, // 显存占用峰值 peak_memory_gb: f64, // 首次部署时间模型加载编译 deployment_time_sec: f64, } /// 系统性基准测试覆盖所有场景 fn run_systematic_benchmark( engines: [InferenceEngine], model: ModelSpec, hardware: HardwareProfile, ) - VecBenchmarkResult { let scenarios vec![ // 低并发短序列延迟优先 TestScenario { name: low_conc_short_seq, concurrency: 1, prompt_length: 128, max_output_length: 32 }, // 中并发中序列通用场景 TestScenario { name: mid_conc_mid_seq, concurrency: 10, prompt_length: 512, max_output_length: 128 }, // 高并发长序列吞吐优先 TestScenario { name: high_conc_long_seq, concurrency: 50, prompt_length: 2048, max_output_length: 512 }, // CPU 推理场景 TestScenario { name: cpu_only, concurrency: 1, prompt_length: 128, max_output_length: 128 }, ]; engines.iter().flat_map(|engine| { scenarios.iter().map(|scenario| { run_single_benchmark(*engine, model, hardware, scenario) }) }).collect() } /// 场景推荐矩阵根据场景选择最优引擎 fn recommend_engine(results: [BenchmarkResult], target: OptTarget) - InferenceEngine { match target { // 延迟优先单请求最低延迟 OptTarget::LowLatency { results.iter() .filter(|r| r.scenario.concurrency 1) .min_by_key(|r| OrderedFloat(r.p99_latency_ms)) .map(|r| r.engine) .unwrap() } // 吞吐优先最高 tokens/s OptTarget::HighThroughput { results.iter() .filter(|r| r.scenario.concurrency 10) .max_by_key(|r| OrderedFloat(r.throughput)) .map(|r| r.engine) .unwrap() } // 显存优先最低显存占用 OptTarget::LowMemory { results.iter() .min_by_key(|r| OrderedFloat(r.peak_memory_gb)) .map(|r| r.engine) .unwrap() } // 生态优先HuggingFace 模型 OptTarget::Ecosystem InferenceEngine::TGI, } }四、引擎选型的场景匹配矩阵vLLM 适用场景高并发推理QPS 50、对话/生成类应用变长序列、显存有限PagedAttention 减少浪费、GPU 集群部署。禁用场景单请求延迟极度敏感排队开销、CPU 推理不支持、非 NVIDIA GPU。TGI 适用场景HuggingFace 模型一键部署、生产稳定性优先、需要 token streaming、中等并发QPS 10-50。禁用场景极致吞吐需求不如 vLLM、非 HuggingFace 模型、CPU 推理。llama.cpp 适用场景CPU 推理无可替代、Apple Silicon 本地推理、边缘/嵌入式部署、开发调试。禁用场景高并发生产推理无 continuous batching、大模型 GPU 推理无 tensor parallel。TensorRT-LLM 适用场景延迟极度敏感 50ms P99、NVIDIA GPU 极致优化、固定形状推理分类/检测、编译后长期运行。禁用场景变长序列不支持动态形状、模型频繁更新每次需重新编译 10-30 分钟、非 NVIDIA GPU。结论四个推理引擎的架构差异决定性能差异vLLM 吞吐优先、TGI 生态优先、llama.cpp 灵活优先、TensorRT-LLM 延迟优先。vLLM 的 PagedAttention 是高并发吞吐的核心优势但单请求延迟不如 TensorRT-LLM。llama.cpp 在 CPU 场景无可替代但在 GPU 高并发场景不如 vLLM/TGI/TensorRT-LLM。TensorRT-LLM 的预编译 kernel 实现最低延迟但不支持动态形状且每次模型更新需重新编译。选型应根据场景匹配矩阵而非单一性能排名——不同场景的最优引擎不同。