[Bug已解决] FSDP summon_full_params(offload_to_cpu=True) 在 CPU 卸载模型上失败解决方案
[Bug已解决] FSDP summon_full_params(offload_to_cpuTrue) 在 CPU 卸载模型上失败解决方案
一、现象长什么样
你用 FullyShardedDataParallel(FSDP,PyTorch 的另一种分布式并行,比 DDP 更省显存)做训练,并且开启了参…
2026/7/17 3:55:28