AnimateDiff 多 Motion Module 融合实操3 种组合配方拍出推、摇、旋转镜头【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff你挂了 v2_lora_PanRight 想做出推进再右摇的镜头结果整段视频只会平移这不是 LoRA 不好使而是 AnimateDiff 里 Motion Module 融合没配对基础模块和 MotionLoRA 各管一段单挂一个 LoRA 只能表达一种运动复合运镜必须靠 alpha 加权叠加多个模块。60 秒原理信号怎么流过多个 Motion Module生成时你的 prompt 先经文本编码器变成条件信号基础 Motion Module 负责通用的时间动态每个 MotionLoRA 负责一种定向运动所有模块按各自的 alpha 加权混合后一起送进 U-Net 的时序注意力层最后解码出整段帧序列。叠加关系可以记成一个公式combined base*(1-Σα) Σ(lora_i*α_i)注意一点alpha 之和别超 1否则基础运动被压掉画面就开始抖。最小配置跑通1 基础 1 LoRA下面是1 个基础模块 1 个 MotionLoRA的最小可跑 YAML先别急着加第二个模块- inference_config: configs/inference/inference-v2.yaml motion_module: models/Motion_Module/mm_sd_v15_v2.ckpt motion_module_lora_configs: - path: models/MotionLoRA/v2_lora_ZoomIn.ckpt alpha: 1.0 seed: 45987230 steps: 25 guidance_scale: 7.5一行命令跑起来python -m scripts.animate --config your_config.yaml想换运动就改pathZoomIn、ZoomOut、PanLeft、PanRight、TiltUp、TiltDown、RollingClockwise、RollingAnticlockwise 这 8 个 LoRA 都按v2_lora_名字.ckpt放在 models/MotionLoRA 下alpha 从 1.0 往下调运动幅度同步减弱。组合怎么选模块对比与 3 个推荐配方先看清每类模块的分工模块擅长运动常用 alpha 区间显存档位Vanilla Motion Modulemm_sd_v15_v2.ckpt453 M 参数通用时间动态兜底用不直接设权重约 1.7 GB MotionLoRA8 个方向文件各 74 MB推、拉、摇、移、旋转 8 种定向镜头0.3~1.0很小SparseCtrl 编码器v3_sd15_sparsectrl_rgb.ckpt按关键帧条件控制生成配合 controlnet 使用约 1.85 GB三个场景配方每条约 4~6 行1. 远景推镜 缓慢右摇场景风景航拍先推近再往右带一点。 推荐组合基础模块 v2_lora_ZoomIn.ckpt v2_lora_PanRight.ckpt。 alpha 建议ZoomIn 0.7、PanRight 0.4和约 1.1 偏高时先降到 0.6 / 0.4 再试。2. 人物特写仰拍 轻微旋转场景半身像镜头从下往上抬并微微转。 推荐组合v2_lora_TiltUp.ckpt v2_lora_RollingClockwise.ckpt。 alpha 建议TiltUp 0.5、RollingClockwise 0.3旋转给多了脸会歪。3. 想同时上抬又下压场景TiltUp 配 TiltDown 这种同方向反义组合。 不建议直接叠加两者互相抵消运动先变弱再变抖。 要变向就把两段拆成两次生成各自单独挂 LoRA。避坑速查抖动、OOM、幅度不够现象大概率原因一行改法画面抖动、帧间闪烁各 LoRA 的 alpha 之和超过 1把所有 alpha 按比例调小让总和 ≤ 0.9显存 OOM分辨率 H/W 或帧数 L 开太大回到训练配置 512×512、16 帧或启用 xformers 降显存 ⚡运动幅度不够LoRA alpha 太低运动被基础模块盖住目标 LoRA 的 alpha 提到 0.8~1.0 再重跑下一步用仓库里的 train.py 思路训练自己的 MotionLoRA做官方 8 种之外的定向运动。上 SparseCtrl按 controlnet_image_indexs 指定关键帧把镜头运动卡在指定时刻。显存吃紧就启用 xformers默认会自动检测 降低 H、W、L 三个参数。【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考