moe all2all通信模式流程 📅 2026/6/28 2:22:28 场景设定8 张 GPU,每张 GPU 上 1 个 Expert(Expert 0 在 GPU 0,Expert 1 在 GPU 1...) 当前 GPU 0 上有 4 个 token,每个 token 选 top-2 专家假设 GPU 0 上 Router 的结果是:Token选的专家目标 GPUToken AExpert 0, Expert 3GPU 0, GPU 3Token BExpert 1, Expert 5GPU 1, GPU 5Token CExpert 0, Expert 2GPU 0, GPU 2Token DExpert 3, Expert 7GPU 3, GPU 7Step 1: Router 计算topk_idx