做 AI 视频,先让 Blender 把镜头演一遍

📅 2026/7/23 7:25:58
做 AI 视频,先让 Blender 把镜头演一遍
⭐ 设为星标 · 第一时间收到推送石臻说AI 编辑石臻导读AI 视频现在最难的往往不是生成一张漂亮画面而是让人物在多个镜头里站对位置、按时做动作镜头还得按照设计好的路线走。只靠提示词和参考图这些关系很容易漂。这次实测走了一条更重、但也更可控的路线先让 AI 操作 Blender做出一段粗糙的 3D 预演再把预演视频、角色图和风格图交给 Seedance 2.0。Blender 不负责成片质感它更像视频模型开拍前的走位和彩排。为什么不直接图生视频图片当然要用。这套流程一开始就用 GPT Image 2 生成了和室的多角度参考图后面又把六个镜头的首帧转成动画风。图片擅长定角色、构图和画风但它只描述一个瞬间。人物三秒后走到哪里相机怎么推进前后两个镜头的空间关系是什么一张图说不清。Blender 预演补上的是 时间和空间物体大致摆在哪、角色按什么轨迹动、相机什么时候切镜都先在 3D 里跑一遍。方法它最擅长解决什么短板参考图 / 图生视频角色外观、构图、光影和风格连续动作、复杂运镜和多镜头关系容易漂Blender 3D 预演空间尺度、人物走位、动作时序和相机轨迹制作更慢粗模不能直接当成片AI 生成的夏日和室最终画面3D 预演被继续转换成动画镜头所以Blender 不是每条 AI 视频的必经之路。一个角色、一个机位、一个简单动作直接图生视频更省事。当你开始追求多镜头、准确走位或一段不存在的编舞时多做一层预演才有价值。到底怎么操作Blender 做彩排Seedance 负责成片这里有两段连接容易被混在一起。第一段是 Claude Code 或 Codex 通过 MCP 操作 Blender第二段是把 Blender 渲染出来的 MP4 上传给 Seedance当作参考视频。Seedance 并没有实时控制 Blender两者之间传递的是一段预演视频。这次的完整流程可以拆成六步步骤具体操作1. 定视觉用 GPT Image 2 生成角色、场景和多角度参考图2. 连接 Blender启动 Blender 4.2 以上版本用 MCP Connector 让 Agent 获得操作能力3. 搭预演Agent 编写bpy脚本摆基础几何体、角色、动作和相机4. 反复验收执行脚本、截图检查、修改后再执行直到走位和切镜可用5. 输出参考从 Blender 导出预演 MP4并把各镜头首帧转成目标画风6. Seedance 生成上传预演视频和角色、背景图让 Seedance 参考动作与运镜生成成片实际用起来你不需要逐个点 Blender 菜单。启动软件后可以直接告诉 Claude Code“把能够操作 Blender 的环境配置好。”连接完成后再用自然语言描述房间、人物动作和运镜。AI 通过 Blender 截图检查制作进度从基础方块逐步搭出场景Agent 会写bpy也就是 Blender 的 Python 脚本。它运行脚本截一张图检查结果发现不对就改脚本再跑。强模型负责设计和验收具体执行可以交给消耗更低的模型否则额度很快就会见底。Blender 中逐步完善的和室场景与多个镜头视角这套流程不算轻。和室从基础几何体开始经历多轮脚本修改和截图验收大约两小时才形成可用场景。AI 也更擅长用立方体、圆柱和平面搭出粗模复杂曲面和细腻造型仍然吃力。目标很明确先拿到一段可用的预演没必要把粗模做成可交付的 3D 资产。和室案例3D 的价值在于先把镜头说清楚这间和室后来加入了 VRM 角色。只需要指定模型文件再说“让女性角色坐在坐垫上转动头部用手扇风”Agent 就会处理导入、摆放和动作。原本的无人机式镜头不够清楚又被改成每隔几秒切换一次机位。VRM 角色被放入 Blender 和室场景作为镜头与动作预演具体到和室六个切镜的首帧先用 GPT Image 2 转成动画风用来定角色和画面风格完整的 Blender 预演 MP4 则作为 Seedance 2.0 的参考视频提供人物动作和运镜。一类输入定“长什么样”另一类输入定“怎么动”。先看 Blender 给出的粗糙预演人物位置、扇风动作和镜头切换已经被编排好。Blender 中的和室镜头与人物动作预演动图把同一套空间和运动信息交给 Seedance 2.0 后才得到下面的动画风成片Seedance 2.0 基于 Blender 和室预演生成的动画风效果由 3D 预演镜头转换得到的动画风格首帧文生视频很容易给你一张漂亮画面难的是人物站在哪里、镜头往哪走、动作在第几秒发生。Blender 在这里像一个 可编程的分镜沙盘画面可以粗关系不能乱。当然风格转换仍会带来漂移。参考图变成动画风后部分物体位置和空间关系已经发生变化。预演能提高控制力却不是逐像素复制。舞蹈案例能编不存在的动作也会编出怪动作第二组实验更有意思。AI 先在 Blender 里让人偶跳 15 秒再把运动和相机轨迹交给 Seedance 2.0。角色和背景则由四张参考图确定。舞蹈视频使用的角色正反面与背景参考图这是 Blender 里的动作预演。它不追求成片质感先把动作节奏、人物轨迹和机位跑通Blender 中的 15 秒舞蹈动作与镜头预演再由 Seedance 2.0 结合角色和背景参考图把这套粗糙动作转成动画风画面Seedance 2.0 根据 3D 舞蹈预演生成的动画风效果它的优势很直接你不需要先找到一段真人舞蹈也可以从零设计动作。问题同样明显。用bpy计算出来的舞蹈容易简单、机械加入后空翻后后续腿部动作就变得不自然。降低视频模型对参考动作的服从程度可以让成片自然些但也会牺牲与原始编舞的一致性。另一条路是先有视频再提取动作。Blender 可以通过 DW Pose 相关插件估计人物姿态把一段 Sora 2 舞蹈视频转换成 3D 动作再套到 VRM 角色上。这个方向对真实人体运动更友好不过裙摆、手掌等细节仍会崩坏。这两条路线其实对应不同需求想要从零发明动作就接受机械感并反复修想保留真人运动规律就从现有视频提取再承担姿态估计和骨骼映射的误差。机器人对比强模型更会设计但简单模型未必输最后一组实测让 Fable 5 和 Codex 制作同一台机器人。复杂参考图摆在面前时Fable 5 的造型更完整Codex 做出的版本更简化但两边都没有准确还原原设计离精细建模仍有距离。同一机器人参考图下Fable 5 与 Codex 的 3D 建模结果对比把简化的模型放进镜头后画面已经能传递角色位置、环境尺度和爆炸节奏简化机器人模型用于场景运动和爆炸节奏预演有点反直觉的是如果这些模型只用来给 Seedance 2.0 提供预演Fable 5 的优势并没有继续拉大。简化模型轮廓清楚、动作明确有时反而更适合被视频模型读取。预演追求的是信息传递不是模型资产本身的精度。成本也不能忽略。即便主要让 Fable 5 负责设计与验收在 100 美元的 Max 方案下一个场景仍会消耗每周 Fable 5 额度的20%40%。这不是随手玩十个版本都无感的成本。如果现在让我挑一个用法我会先拿它做 20 秒镜头预演把空间、人物位置和运镜跑通再决定值不值得继续做成片。对不熟悉 3D 的创作者来说能先做出一个拿来讨论的版本已经很有用。至于高质量角色模型、复杂曲面和可复用动画资产专业 3D 能力仍然绕不过去。这条路线把 AI 视频拆成两层Blender 先解决空间、动作和镜头Seedance 再解决角色、画风和成片质感。单镜头直接图生视频更快多镜头、复杂走位和编舞先做一次 3D 彩排能少让视频模型猜几件事。 往期精选Claude Code 用户可以试试这个插件Claude Loops让 AI 睡觉时也在工作开源AI被喊危险闭源巨头到底怕什么Dario的新警告AI太快政策太慢全网热议的Loop到底是个啥这Github上9.3k人点赞的插件让Hermes更聪明一个小技巧让你的电脑磁盘多处50GAI记忆的主权之争: 别把AI记忆交给大厂小白扫盲AI Agent 入门指南用最直白的方式…为什么 AI 时代大家都在拥抱 Rust一个旁观者的…