【Bug已解决】FSDP + torch.nn.Parameter (MoE layer) lora fine-tuning doesn‘t work 解决方案
【Bug已解决】FSDP torch.nn.Parameter (MoE layer) lora fine-tuning doesnt work 解决方案
一、现象长什么样
在做一个 MoE(混合专家)模型微调时,很多人会把多个专家存成一个 nn.ParameterList 或一个大的 torch.nn.Parameter 张量&#x…
2026/7/25 4:47:10