调查研究-224 Prefill 与 Decode 分离:高并发 LLM Serving 的下一层架构
Prefill 与 Decode 分离:高并发 LLM Serving 的下一层架构
TL;DR
场景:当 LLM Serving 跑长上下文 RAG / Agent / 实时语音时,prefill 的 compute burst 会卡住 decode 的流式输出,TTFT 和 TPOT 难以同时优化 — 单卡混部开始撞到…
2026/7/10 9:04:12