引言：MoE的"复合冗余"困局2026年8月10日，韩国UNIST（蔚山科学技术院）金泰焕教授团队在ACL 2026上发表了题为《GMoE: Global Mixture of Experts with Logit Propagation》的论文，第一作者是UNIST人工智能大学院的硕士生洪建宇（Geonwoo Hong）。这篇论文首次提出**全局混合专家（Global Mixture of Experts, GMoE）**架构，核心信息令人震撼：在参数减少63%的情况下，模型性能几乎保持不变。这一成果的发布恰逢其时。2026年是大语言模型竞争白热化的一年，从Google的Gemini迭代到OpenAI的GPT-5，从Anthropic的Claude 4到Meta的LLaMA 4，各家都在追求更大规模的参数和更复杂的架构。然而，模型规模的膨胀带来的不仅是能力提升，更是训练和推理成本的指数级增长。在这样一个背景下，GMoE的出现提供了一条截然不同的思路——不是通过增加参数来提升性能，而是通过更智能的参数共享来消除冗余。传统MoE（Mixture of Experts）架构自2017年Shazeer等人提出以来，经历GShard（2020）、Switch Transformer（2022）、DeepSeek V2（2024）等里程碑式发展，已经成为大语言模型（LLM）的主流架构范式。GPT-4据报道使用了16个专家的MoE架构，Mixtral 8x7B展示了MoE在开源社区的潜力，DeepSeek V2/V3则通过细粒度MoE和共享专家机制将MoE推向了新的高度。然而，一个根本性问题始终未被充分解决——复合冗余（Compound Redundancy）。传统MoE存在双重冗余：层间冗余：不同神经网络层学习到相似的功能，却各自维护独立的专家集层内冗余：每层内部的专家被过度使用或闲置，导致负载严重不均GMoE用一招"釜底抽薪"同时解决了这两个问题：所有层共享一个全局专家池，每层仅保留一个专用专家。这一设计将传统MoE的10万专家（100层×1000专家/层）压缩至1100专家（1000全局+100专用），参数减少63%，而平均准确率仅从39.55%微降至39.51%。本文将深入剖析GMoE的技术细节，并用完整的代码实现帮助读者理解其核心机制。一、传统MoE架构回顾与问题分析1.1 标准MoE公式在深入GMoE之前，我们先回顾传统MoE的数学定义。对于一个标准的MoE层，给定输入xxx，输出为：y=∑i=1EG(x)i⋅Ei(x)y = \sum_{i=1}^{E} G(x)_i \cdot E_i(x)y=i=1∑E​G(x)i​⋅Ei​(x)其中EEE是专家数量，Ei(x)E_i(x)Ei​(x)是第iii个专家的输出，G(x)iG(x)_iG(x)i​是门控网络（Router）分配给第iii个专家的权重。门控网络通常采用Softmax Top-K路由：G(x)=Softmax(TopK(x⋅Wg+ϵ,K))G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g + \epsilon, K))G(x)=Softmax(TopK(x⋅Wg​+ϵ,K))1.2 传统MoE的两大结构性缺陷缺陷一：层间功能冗余在传统MoE中，每个Transformer层都维护一套独立的专家集。假设模型有LLL层，每层EEE个专家，总专家数为L×EL \times EL×E。当L=100,E=1000L=100, E=1000L=100,E=1000时，总专家数达到10万。然而，不同层的专家往往学习到高度相似的功能。以语言模型为例，低层专家主要学习语法和词法特征，中层专家学习语义组合，高层专家学习长程依赖。但同层内不同专家的功能分化并不明显，跨层更存在大量重复。缺陷二：路径坍缩（Path Collapse）传统MoE的每个路由器独立决策，不参考前层路由信息。这导致一个严重问题：某些特定的专家组合路径被反复选中，而其他潜在路径从未被探索。实验数据显示，传统MoE（如Switch Transformer、GShard）中，单条路径的最大负载占比高达25.65%~45.55%，即近一半的输入token被路由到同一个专家组合。这不仅导致专家利用率不均，还限制了模型的表达能力上限。二、GMoE核心架构设计2.1 全局共享专家池GMoE的核心创新可以用一句话概括：用一个全局共享的专家池取代每层独立的专家集。架构图如下：┌─────────────────────────────────────┐ │ Global Expert Pool │ │ ┌────┐ ┌────┐ ┌────┐ ┌────┐ │ │ │E_1 │ │E_2 │ │E_3 │ ... │E_Ng│ │ │ └────┘ └────┘ └────┘ └────┘ │ └──────────┬──────────────────────────┘ │ ┌──────────────────────────┼──────────────────────────┐ │ │ │ ┌────▼────┐ ┌────▼────┐ ┌────▼────┐ │ Layer 1 │ │ Layer 2 │ │ Layer L │ │┌──────┐│ │┌──────┐│ │┌──────┐│ ││Local ││ ││Local ││ ││Local ││ ││Expert││ ││Expert││ ││Expert││ │└──────┘│ │└──────┘│ │└──────┘│ │ ▲ ▲ │ │ ▲ ▲ │ │ ▲ ▲ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └──┼───────To Global Experts────────▶ │ │ │ │ │ │ │ │ │ │ │ │ │ └──┼─────┘ └──┼─────┘ └──┼─────┘ │ │ │ └────────────── Logit Propagation ──────────────────┘数学定义：设第lll层的输入为xlx_lxl​，GMoE层的输出为：yl=LocalExpertl(xl)+∑i=1NgGl(xl,hl−1)i⋅GlobalExperti(xl)y_l = \text{LocalExpert}_l(x_l) + \sum_{i=1}^{N_g} G_l(x_l, h_{l-1})_i \cdot \text{GlobalExpert}_i(x_l)yl​=LocalExpertl​(xl​)+i=1∑Ng​​Gl​(xl​,hl−1​)i​⋅GlobalExperti​(xl​)其中NgN_gNg​是全局专家数量，hl−1h_{l-1}hl−1​是前一层传递过来的路由状态。注意这里的关键区别：全局专家在所有层之间共享参数，而LocalExpert是每层独立维护的。2.2 Logit Propagation（对数传播路由）GMoE的第二个关键创新是Logit Propagation路由机制。传统MoE中，每层的路由器独立决策，不考虑前层信息。GMoE则引入了一个基于GRU的循环路由组件，将前一层的路由对数（logits）传递给下一层。┌──────────┐ ┌──────────┐ ┌──────────┐ │ Layer 1 │ │ Layer 2 │ │ Layer 3 │ │ Router │ │ Router │ │ Router │ │ │ │ │ │ │ │ logits_1 ┼────────▶│ logits_2 ┼────────▶│ logits_3 ┼──▶ ... │ │ │ │ │ │ │ GRU State│ │ GRU State│ │ GRU State│ └──────────┘ └──────────┘ └──────────┘ │ │ │ ▼ ▼ ▼ ┌──────────┐ ┌──────────┐ ┌──────────┐ │Expert │ │Expert │ │Expert │ │Selection │ │Selection │ │Selection │ └──────────┘ └──────────┘ └──────────┘为什么Logit Propagation有效？传统MoE的路径坍缩源于马尔可夫决策的无记忆性：每层路由独立采样，导致某些"热门"组合被反复选中。GMoE通过传播前层路由对数，使得后续层的路由决策可以"纠正"前层的偏差，从而探索更多样化的专家组合路径。实验数据验证了这一点：指标传统MoEGMoE提升独立路由路径数~27,00081,5613×单路径最大负载25.65%~45.55%11.15%2.3~4×2.3 参数效率分析我们来做一个详细的参数对比。假设：层数L=100L = 100L=100传统MoE：每层专家数E=1000E = 1000E=1000GMoE：全局专家数Ng=1000N_g = 1000Ng​=1000，每层局部专家Nl=1N_l = 1Nl​=1每个专家参数量为PeP_ePe​传统MoE总参数量：Ptraditional=L×E×Pe=100×1000×Pe=100,000×PeP_{\text{traditional}} = L \times E \times P_e = 100 \times 1000 \times P_e = 100,000 \times P_ePtraditional​=L×E×Pe​=100×1000×Pe​=100,000×Pe​GMoE总参数量：PGMoE=(Ng+L×Nl)×Pe=(1000+100×1)×Pe=1,100×PeP_{\text{GMoE}} = (N_g + L \times N_l) \times P_e = (1000 + 100 \times 1) \times P_e = 1,100 \times P_ePGMoE​=(Ng​+L×Nl​)×Pe​=(1000+100×1)×Pe​=1,100×Pe​参数压缩比：PGMoEPtraditional=1,100100,000=1.1%\frac{P_{\text{GMoE}}}{P_{\text{traditional}}} = \frac{1,100}{100,000} = 1.1\%Ptraditional​PGMoE​​=100,0001,100​=1.1%但实际参数减少63%而非98.9%，原因在于：GMoE的每个专家（尤其是全局专家）需要更大的容量来承担跨层共享带来的负载。论文中Base模型的实际配置是：传统MoE 5.49亿参数，GMoE 2.04亿参数，减少约63%。三、代码实现：从零构建GMoE接下来，我们通过完整的Python代码实现GMoE的核心组件。所有代码均为可运行代码，基于PyTorch实现。3.1 GMoE核心模块importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimportmathfromtypingimportOptional,Tuple,List# ==============================================================# 1. 专家模块（Expert Module）# ==============================================================classExpert(nn.Module):""" GMoE的专家模块。 一个标准的FFN（前馈神经网络），包含两层线性变换和激活函数。 """def__init__(self,d_model:int,d_ff:int,dropout:float=0.1,activation:str="gelu"):super().__init__()self.w1=nn.Linear(d_model,d_ff,bias=False)self.w2=nn.Linear(d_ff,d_model,bias=False)self.dropout=nn.Dropout(dropout)ifactivation=="gelu":self.act=nn.GELU()elifactivation=="relu":self.act=nn.ReLU()elifactivation=="silu":self.act=nn.SiLU()else:raiseValueError(f"Unknown activation:{activation}")defforward(self,x:torch.Tensor)-torch.Tensor:""" Args: x: (batch_size, seq_len, d_model) Returns: (batch_size, seq_len, d_model) """returnself.w2(self.dropout(self.act(self.w1(x))))# ==============================================================# 2. GRU-based 全局路由器（Global Router）# ==============================================================classGRURouter(nn.Module):""" GMoE的全局路由器，基于GRU的循环路由组件。 核心创新：跨层传播路由对数（logits），解决路径坍缩问题。 """def__init__(self,d_model:int,num_global_experts:int,gru_hidden_size:int=128,num_experts_per_token:int=2,):super().__init__()self.num_global_experts=num_global_experts self.num_experts_per_token=num_experts_per_token# 输入投影：将输入映射到GRU隐藏空间self.input_proj=nn.Linear(d_model,gru_hidden_size,bias=False)# GRU单元：跨层传递路由状态self.gru_cell=nn.GRUCell(gru_hidden_size,gru_hidden_size)# 路由头部：为每个token生成专家选择分数# 输出维度为 num_global_expertsself.routing_head=nn.Linear(gru_hidden_size,num_global_experts,bias