初创Agent实习-训练加速(padding+compile+FP8+Adam_Fused)
训练加速 Padding compile FP8 adamw_torch_fused 从以上四个方面加速: 本文档解释 stage1_nemotron_qwen_djh_deepspeed_dev_zch_v4_lqy.py 中 train() 的整体流程、当前 padding 策略、torch.compile 与动态 padding 的关系,以及这套思路能否迁移到 SoulGard-VL 训练。 1. …
2026/7/9 3:27:30