基于工作流引擎的AI短剧生成系统设计6步链路拆解与实现思路做AI短剧最折腾的不是模型能力是工具链——剧本A、生图B、视频C、配音D、剪辑E每个环节之间靠手动导出导入。本文记录一套把6步塞进一个工作流平台的设计思路重点聊链路拆解和可控生成方案。一、为什么AI短剧的工具链是断的先看一段典型的AI短剧制作流程打开豆包/DeepSeek对话式生成剧本复制剧本切到即梦/可灵逐句贴 prompt 生图挑图、修图再切到Seedance/可灵视频生成逐张上传首帧图生视频等几分钟渲染下载视频片段切到剪映/PR把片段拼起来加字幕、配音、BGM导出成片发现某镜头崩了——回到第2步重来核心问题不是AI能力不够是工具之间的数据是割裂的文件传来传去改一处得重跑全部。这套系统想解决的就是让数据在一条工作流内流转不用来回切工具。二、系统整体链路设计项目创建 → 剧本生成 → 分镜拆解 → 逐镜生图 → 逐镜生视频 → 剪辑导出 每一步都在同一个平台里完成前一步的输出直接作为后一步的输入数据不落地。下面逐步拆解每一步的实现思路。三、各环节实现思路① 项目创建新建项目时支持导入原著小说文本后端调用 LLM 自动提取章节结构和事件图谱省去手动梳理人物关系。② 剧本生成对话式LLM内置 LLM 对话面板采用多轮迭代式生成第一轮生成故事骨架第二轮确定改编策略第三轮输出结构化剧本不是一次性吐全文而是像跟编剧开会一样逐步打磨每轮可人工修订。③ 分镜拆解剧本自动拆分为分镜列表每个分镜的数据结构{ shot_id: S003, shot_type: 中景, scene_desc: 作为后续AI生图的prompt, characters: [主角A, 配角B], dialogue: 台词文本, est_duration: 5 }支持人工拖拽排序、增删改——这一步很关键因为分镜质量直接决定后面生图生视频的效果。④ 逐镜生图批量单镜重试基于分镜的scene_desc字段调用图像模型。关键设计批量生成选好模型一键跑全部分镜单镜重试某镜不满意只重生成这一个不影响其他多备选对比每镜生成 1-N 张备选对比挑选这一步是整个工作流里最耗时的所以并发控制和任务队列是重点。⑤ 逐镜生视频首帧图→图生视频这里有个核心设计决策先锁定静态画面再生成动态。生成方式可控性适用场景纯文生视频低AI自由发挥快速试错、灵感探索首帧图→图生视频高已锁定构图/配色/主体专业成片风格统一实践下来首帧图→图生视频的可控性比纯文生视频高一个数量级。原因很简单静态画面锁定了构图、配色、主体形状AI只需要在这个基础上动起来自由度大幅降低结果更可预测。⑥ 剪辑导出内置多轨道时间轴整合视频片段 TTS配音 字幕 BGM支持多规格成片批量导出。定位是短剧前端生产线复杂后期仍建议导出到专业剪辑软件精修。四、几个值得单独聊的设计点提示词工厂把常用 prompt 模板按类型分类存储视频模板按短剧题材分都市重生/武侠江湖/仙侠修炼图片模板按创作场景分AI女模/电商广告/文旅文创/社媒内容一键复制后改改就能用省去从零写 prompt 的时间。本质是个 prompt 知识库。实时画面预览创作过程中随时预览分镜画面不用等全部跑完才能看。技术上是一个轻量的预览引擎每生成一张图就推送一次到前端画布。多人协同 版本管理支持团队在线协作单镜粒度管理——A改镜头3不影响B改镜头5。版本可追溯能回滚到任意历史版本。五、技术架构┌───────────────────────────────────────┐ │ 前端层 │ │ 可视化画布 工作空间 提示词工厂 │ │ 多轨道时间轴剪辑台 │ ├───────────────────────────────────────┤ │ 后端层 │ │ 用户/项目管理 AI模型调度引擎 │ │ 任务队列并发控制状态推送 │ │ 文件/版本管理 多人协作控制 │ ├───────────────────────────────────────┤ │ 基础设施 │ │ GPU服务器H100/B300 │ │ 第三方AI模型API接入 │ └───────────────────────────────────────┘AI模型接入的三个维度模型类型用途可接入供应商大语言模型 (LLM)剧本创作、分镜拆解豆包、DeepSeek、Kimi、Claude、GPT-4图像生成模型分镜画面生成Seedance、即梦、可灵视频生成模型图生视频片段Seedance、豆包视频、可灵、即梦设置中心填入 API Key 即可接入支持随时切换供应商。这层抽象的好处是某个模型出问题或涨价换一个就行不用改业务代码。六、踩坑记录1. 并发限制图像/视频模型API有QPS限制批量生成时建议2~3并发避免被限流。2. 生成耗时视频模型比图片模型慢很多一个镜头30秒~几分钟批量生成时必须有任务队列和进度推送否则用户体验极差。3. 分镜图存储分镜图生成后如果不及时持久化刷新页面会丢。这一步踩过坑后来加了文件版本管理每张图都关联到具体分镜版本。4. 视频生成策略纯文生视频质量不稳定首帧图→图生视频是更可控的方案。建议流程先在图生图工具里生成关键帧确认风格再基于该图写运动提示词调视频模型。七、总结这套系统的核心思路就一句话把AI短剧制作的6个环节串成一条工作流数据在流程内流转不落地。关键技术决策分镜数据结构化存储作为各环节的衔接纽带首帧图→图生视频比纯文生视频可控性高一个数量级AI模型接入层抽象支持随时切换供应商单镜粒度的版本管理和协同避免互相覆盖目前正在迭代中后续会继续分享工作流画布的可视化实现和并发控制方案。