【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载VeRL-Omni 是面向 diffusion 与 omni 多模态生成模型的强化学习训练框架内置的ModelMerger工具可以把 FSDP 分布式检查点直接导出为可部署的 Diffusers pipeline 或独立 transformer同时支持 LoRA 适配器导出与权重融合覆盖 Qwen-Image、Flux、SD3.5、Wan2.2、LTX2、MiniMax-H3 等 8 种架构全程自动校验、开箱即用。为什么 FSDP 检查点无法直接部署多卡训练时FSDP2 会把模型权重按 rank 切片存成多个文件actor/ fsdp_config.json model_world_size_2_rank_0.pt model_world_size_2_rank_1.pt huggingface/config.json这类分片权重既不能被from_pretrained()直接加载也不能上传给推理服务——你必须先把所有 rank 的 DTensor 分片精确重组回完整权重再打包成标准模型目录。ModelMerger 自动完成了这三件事自动识别架构读取model_index.json/config.json中的_class_name失败即报错绝不做模糊猜测重建并回验逐个重组 DTensor 分片并与原始分片做往返比对确保一个数值都不差审计式发布输出 SHA256 清单merge_manifest.jsonLinux 上通过原子 rename 发布不会覆盖已有目录。一步导出merge 命令快速上手准备好三个互不重叠的本地目录训练保存的 actor 检查点、与训练时同源的 base 模型、一个尚不存在的输出目录。然后执行python -m verl_omni.model_merger merge \ --backend fsdp \ --local_dir $ACTOR_CHECKPOINT \ --target_dir $OUTPUT \ --base_model $BASE_PIPELINE \ --trust-checkpoint命令成功后会打印 JSON包含输出目录与 manifest 路径。常用选项参数作用--output_format pipeline默认导出完整 pipeline只替换训练过的 transformer其余 base 组件原样保留--output_format transformer只导出独立 transformer 组件用对应类的from_pretrained()加载--dtype float16导出时转换精度默认preserve保持原样--max_shard_size输出 safetensors 分片大小预算字节默认 2 GiB--hf_upload_path ORG/REPO发布并校验通过后自动上传可加--private也可以直接调用 Python API入口定义在 model_merger/init.pyfrom verl_omni.model_merger import ModelMergerConfig, merge_model result merge_model(ModelMergerConfig( operationmerge, backendfsdp, local_dircheckpoint_dir, target_diroutput_dir, base_modelbase_pipeline_dir, trust_checkpointTrue, ))支持哪些架构8 种模型全覆盖导出器与训练算法无关——FlowGRPO、DiffusionNFT、DPO 只要保存的是完整的 transformer就用同一个发布器。当前注册的架构见 architectures.py架构规范 transformerpipeline 导出Qwen-Image / Qwen-Image-EditQwenImageTransformer2DModel✅ 含 processorSD3 / SD3.5SD3Transformer2DModel✅ 含三组 text encoder/tokenizerFluxFluxTransformer2DModel✅Wan / Wan2.2WanTransformer3DModel✅ 保留可选的transformer_2LTX-2LTX2VideoTransformer3DModel✅ 含音频 VAE 与 vocoderMiniMax H3MiniMaxH3Transformer3DModel✅ 自动转换为原生 H3 包Boogu-ImageBooguImageTransformer2DModel✅值得一提的是 MiniMax H3导出 pipeline 时ModelMerger 会自动完成 Diffusers 命名到原生MiniMaxH3DiTModel的 QKV/GEGLU 布局转换并合成校验rope.inv_freq转换逻辑见 fsdp_model_merger.py。LoRA 检查点导出适配器还是融合成完整模型LoRA 训练产物有两条导出路径默认自动检测 LoRA 权重。LoRA-only 检查点只导出lora_adapter/adapter_config.jsonadapter_model.safetensors无需本地 base 模型完整检查点则按选定 layout 导出全模型并额外附上适配器目录。加--fuse-lora把选定适配器按W (lora_alpha / r) * B A融合进完整权重fp32 计算后回写原精度导出即部署推理端不需要 PEFT 支持。python -m verl_omni.model_merger merge \ --backend fsdp \ --local_dir $LORA_ACTOR_CHECKPOINT \ --target_dir $OUTPUT \ --base_model $BASE_PIPELINE \ --adapter-name default \ --fuse-lora \ --trust-checkpoint融合计划会写入 manifest 的lora_fusion字段记录适配器名、rank、alpha、缩放系数和被排除的其他适配器计划校验逻辑在 lora.py。注意pissa、olora等会改写 base 权重的初始化方式必须使用完整 state 布局的检查点LoRA-only 布局会被明确拒绝。导出后如何验证test 命令与 merge_manifest.json发布前导出器会完成四层校验pipeline 组件与配置比对、DTensor 分片往返校验、逐 safetensors 分片重开核对值/形状/精度、输入不变性与输出索引核对。结果记录在merge_manifest.json中。发布完成后随时可用独立命令复核产物无需重新加载源检查点校验实现见 output_validation.pypython -m verl_omni.model_merger test \ --backend fsdp \ --test_hf_dir $OUTPUT手动做加载级检查也很简单from diffusers import QwenImagePipeline pipeline QwenImagePipeline.from_pretrained(output_dir, local_files_onlyTrue)常见问题速查报错Pickled rank checkpoints require explicit trust_checkpointTrueFSDP 检查点是 pickle 格式必须显式加--trust-checkpoint确认你信任该文件。它不是沙箱请只对可信产物开启。只想要 transformer 组件加--output_format transformer此时--base_model指向 standalone transformer 目录即可。目标目录已存在导出采用原子 no-replace 发布直接失败以保护已有产物先移走旧输出再执行。基础模型含 Python 代码如原生 MiniMax H3、部分 Boogu 版本需追加--trust-remote-code才能复制这些本地资产。显存/内存rank 文件以 mmap 方式逐个重建张量不需要驻留完整模型但也不是硬性 RSS 上限超大模型请预留余量。相关文件索引 文件说明verl_omni/model_merger/ModelMerger 模块目录base_model_merger.py配置、CLI 参数与生命周期fsdp_model_merger.py张量重建与架构打包核心lora.pyLoRA 融合计划与权重计算output_validation.py发布产物校验docs/start/model_merger.md官方使用文档tests/model_merger/全架构回归测试VeRL-Omni ModelMerger 把FSDP 分布式检查点 → 可部署模型收敛成了一条命令自动识别架构、精确重建权重、多层校验加审计清单让训练成果真正落地部署变得简单、快速、可靠。赞分享【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载相关推荐如何用 Ultralytics 统一导出工具把任意 PyTorch 模型导出为 ONNX如何用 Ultralytics 统一导出工具把任意 PyTorch 模型导出为 ONNX 如果你手里有一个普通的 PyTorch 模型timm 分类模型、to人工智能深度学习计算机视觉预训练大麦自动抢票工具实战教程4步把抢票流程完全自动化大麦自动抢票工具实战教程4步把抢票流程完全自动化 开票3秒就灰是什么体验ticket purchase 这个自动抢票工具把选城市、挑票价、勾观演人、提交订单GUI 自动化RPA突破性能瓶颈手把手教你为verl添加FSDP自定义模型突破性能瓶颈手把手教你为verl添加FSDP自定义模型 在大语言模型LLM训练领域高效利用计算资源是提升性能的关键。verlVolcano Engin人工智能大模型强化学习RLHF分布式训练微调创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考