【信息科学与工程学】计算机科学与自动化——第三百零五篇 数据中心 Scale-Up、Scale-Out、Scale-Across 16
编号Scale领域链路问题问题的数学分析（逐步推理）参数列表／边界条件／方程式关联知识6271数据中心大模型推理大模型推理中推测解码的多候选验证策略？1. 草稿模型生成K个候选序列，目标模型并行验证。2. 验证时，目标模型计算每个候选的logits，拒绝概率 preject。3. 期望接受长度 E[L]=∑i=1Ki⋅(1−preject)i⋅preject。4. 加速比 S(K)=K⋅Td+TtE[L]⋅Tt。5. 最优K使S最大，对K求导得数值解。6. 物理约束：目标模型显存需容纳K个候选的KV cache。preject=0.2, Tt=10ms, Td=2ms。方程: E[L]≈4.5, 最优K≈6, 加速比≈2.8。推测解码，多候选，并行验证6272
