前言在前三篇系列文章中我们介绍了 Agnes AI API 的基础使用、性能优化和多角色对话视频生成。但在实际测试中我们发现了一个核心问题如何让角色和场景在多次生成中保持一致性这个问题在以下场景尤为关键漫画/漫剧创作需要同一角色在不同场景中保持外观一致视频连载需要角色在多集视频中保持身份识别度游戏资产需要角色在原画和场景中保持统一风格本文将通过完整的测试流程深入探讨图像合成如何让角色和场景在静态图中完美融合视频生成如何让角色在场景中动起来且保持一致性从失败到成功我们经历的迭代优化过程本文的相关提示词技巧已经开源 技能GitHub仓库GitHub - cnskycn/agnes-api-skill: Agnes AI API Skill - image and video generation · GitHub一、图像合成测试5种提示词策略对比1.1 测试目标我们需要找到一种方法将角色图和场景图合成为一张完整的图且✅ 角色外观保持一致最重要✅ 场景融合自然✅ 整体效果协调1.2 测试设置角色原图场景原图API配置model agnes-image-2.0-flash # 或 agnes-image-2.1-flash tags [img2img] image [角色图URL, 场景图URL] # 同时输入两张图1.3 5种提示词策略我们设计了5种不同的提示词策略测试哪种效果最好。策略A强身份约束英文提示词The exact same character from the first image, with identical hair color, eye color, facial features, clothing, and overall appearance. The character is placed into the cherry blossom campus scene from the second image. Maintain full consistency with the original character design.评价⚠️ 角色外观有部分变化⚠️ 场景融合一般⭐⭐⭐ 总体效果中等策略B指定图片顺序提示词Image 1 is the character, Image 2 is the background scene. Composite the character into the scene naturally, preserving the characters exact appearance from Image 1.评价⚠️ 角色外观有变化✅ 场景融合较好⭐⭐⭐ 总体效果中等策略C仅输入角色图 文字描述场景提示词Place the character from the input image into a cherry blossom campus. She is standing under cherry blossom trees, petals falling around her. Anime style.配置只输入角色图不输入场景图评价✅ 角色外观高度一致⚠️ 场景由AI生成不是我们指定的场景⭐⭐⭐⭐角色一致性最好但场景不可控策略D仅输入场景图 文字描述角色 ⭐⭐⭐⭐⭐提示词A girl with black long hair, blue eyes, wearing a blue hoodie and white skirt, standing in this cherry blossom campus scene. She is smiling gently. The character design must be exactly as described. Anime style.配置只输入场景图不输入角色图评价✅✅ 角色外观非常一致比策略C还好✅ 场景完全是我们指定的场景✅ 融合自然⭐⭐⭐⭐⭐角色一致性最佳方案策略E极详细的描述 ⭐⭐⭐⭐提示词A beautiful anime girl with long black hair, striking blue eyes, wearing a cozy blue hoodie and flowing white skirt. She is standing gracefully under cherry blossom trees in a campus setting. Petals are falling gently around her. The lighting is soft and warm. She has a gentle smile. The overall style is high-quality anime illustration. The character must look exactly as described, with no deviation from the given traits.配置同时输入角色图和场景图评价✅ 角色外观基本一致✅✅ 场景融合最自然✅ 整体效果最协调⭐⭐⭐⭐总体最佳方案1.4 测试结果对比表策略角色一致性场景融合总体评分推荐场景策略A⭐⭐⭐⭐⭐⭐⭐⭐⭐不推荐策略B⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐不推荐策略C⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐角色最重要场景无所谓策略D⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐角色一致性优先策略E⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐总体效果优先1.5 核心发现重要发现1Agnes AI 的多图输入img2img是参考而非融合当同时输入多张图时模型会将它们作为灵感参考而非像素级融合。这意味着角色外观会有一定漂移。重要发现2策略D仅输入场景图 文字描述角色是角色一致性最佳方案通过详细的文字描述角色外观配合场景图可以在保持场景完全一致的同时生成外观高度一致的角色。重要发现3策略E极详细描述是总体最佳方案虽然角色一致性略低于策略D但场景融合最自然整体效果最协调。1.6 推荐工作流图像合成基于测试结果我们推荐以下工作流步骤1生成场景图如果还没有合适的场景 ↓ 步骤2使用策略D或E生成角色在场景中的图 - 策略D角色一致性优先 - 策略E总体效果优先 ↓ 步骤3如果角色外观有偏差调整提示词中的角色描述 - 添加更多细节发色、eye色、服装等 - 使用exact same character等强约束词 ↓ 步骤4得到满意的角色场景合成图 ↓ 步骤5可选使用此合成图进行视频生成二、视频生成测试从失败到成功的迭代过程在解决了图像合成问题后我们继续测试角色场景的视频生成。这部分测试经历了一个从失败到成功的迭代过程。2.1 初次测试关键帧模式的问题我们使用新生成的场景图进行初次测试场景图测试目标让角色在新场景中动起来测试1仅角色图img2vid模式策略只输入角色图让AI生成角色动画背景由AI生成提示词The character stands in cherry blossom campus, gentle breeze, petals fall, smile, anime style结果Test1_Character评价✅ 角色有动画效果微笑、微风❌ 背景由AI生成不是我们指定的场景⭐⭐⭐ 总体效果一般测试2仅场景图img2vid模式策略只输入场景图让AI生成场景动画提示词Cherry blossom campus, petals falling slowly, sunlight through trees, camera moving slowly结果Test2_Scene_New评价✅ 场景动画自然花瓣飘落、镜头移动❌ 没有角色⭐⭐⭐⭐ 场景动画效果很好测试3角色场景关键帧模式-发现问题策略同时输入角色图和场景图使用关键帧模式mode: keyframes提示词The character walks through cherry blossom campus, petals falling around her, she stops and smiles结果Test3_Both_New❌ 严重问题角色慢慢消失问题详细描述✅ 开头0-1秒角色清晰可见⚠️ 中间1-3秒角色开始变得透明❌ 结尾3-5秒角色完全消失只留下背景2.2 问题分析为什么角色会消失通过多次测试和分析我们发现了问题的根源关键帧模式是插值模式——模型会在输入图片之间进行过渡。如果输入[角色图, 场景图]模型会理解为从角色过渡到场景导致角色慢慢融入背景并消失。技术原理关键帧模式的工作方式 输入[图A, 图B] 输出从图A渐变到图B的动画 我们的情况 输入[角色图, 场景图] 模型理解从角色渐变到场景 结果角色慢慢变成场景即角色消失2.3 迭代优化从失败到成功发现问题后我们进行了多次迭代优化最终找到了成功的方案。优化1使用空场景图Test3_scene_empty思路使用一个几乎没有内容的场景图减少场景对角色的干扰场景图scene_empty.png只有简单的樱花枝条没有完整的场景提示词The character stands in cherry blossom scene, petals float around, character remains clearly visible throughout the video, anime style结果Test3_scene_empty评价✅ 角色保持可见✅ 没有明显的消失问题⚠️ 场景比较简单因为输入的场景图本身就很简单⭐⭐⭐⭐成功角色不再消失关键发现使用简单的场景图可以减少关键帧模式的过渡效应。优化2让角色走动Test4_Character_Walks思路在提示词中详细描述角色的动作让角色持续存在提示词The girl with black hair and blue hoodie walks from left to right across the cherry blossom scene, she is always clearly visible, petals float around her, anime style结果Test4_Character_Walks评价✅ 角色在走动✅ 角色保持可见✅ 场景融合较好⭐⭐⭐⭐⭐很成功角色会走动且保持可见关键发现详细描述角色的动作walks from left to right可以帮助模型理解角色应该持续存在。优化3让角色说话Test5_Character_Speaks思路在提示词中加入说话和嘴部动作的描述提示词The girl with black hair and blue hoodie is walking in cherry blossom scene, she is talking and moving her lips, mouth open, speaking animation, character remains clearly visible throughout the video, anime style结果Test5_Character_Speaks评价✅ 角色在说话✅ 角色保持可见✅ 嘴部有动作⭐⭐⭐⭐⭐非常成功角色会说话且保持可见关键发现描述角色的持续动作说话、走动可以有效防止角色消失。2.4 最终成功方案总结通过多次迭代我们找到了三种成功的视频生成方案测试方案角色一致性场景融合动作效果总体评分Test3_scene_empty简单场景图 基础提示词⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Test4_Character_Walks详细动作描述 走动⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Test5_Character_Speaks详细动作描述 说话⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐共同关键点✅ 使用简单场景图或使用图像合成得到的角色场景图✅ 提示词中强调角色持续可见✅ 详细描述角色动作走动、说话等2.5 解决方案对比我们测试了两种主要的视频生成方案方案A关键帧模式不推荐❌payload[extra_body] { image: [角色图, 场景图], mode: keyframes }问题❌ 角色会慢慢消失❌ 需要复杂的提示词技巧才能缓解结论不推荐方案B先合成再生成视频强烈推荐⭐⭐⭐⭐⭐步骤1使用图像合成策略D或E生成角色场景的合成图步骤2使用此合成图作为视频生成的输入img2vid模式# 步骤1生成合成图 composite_image_url generate_composite_image(...) # 步骤2使用合成图生成视频 payload { model: agnes-video-v2.0, prompt: 角色在场景中走动保持可见..., image: composite_image_url # 只输入一张图 }优势✅ 角色和场景都完全可控✅ 没有角色消失问题✅ 提示词更简单✅ 成功率更高结论强烈推荐三、完整工作流推荐3.1 工作流概览开始 ↓ 步骤1准备角色图和场景图 ↓ 步骤2图像合成选择策略D或E - 策略D角色一致性优先 - 策略E总体效果优先 ↓ 步骤3得到角色场景合成图 ↓ 步骤4视频生成使用合成图 - 提示词强调角色持续可见 - 描述详细的角色动作 ↓ 步骤5得到最终视频 ↓ 结束3.2 完整代码示例详见GitHub仓库GitHub - cnskycn/agnes-api-skill: Agnes AI API Skill - image and video generation · GitHub四、实战案例漫剧平台我使用上述技术构建了一个漫剧生成平台可以✅ 上传角色图✅ 选择/生成场景✅ 自动合成角色场景图✅ 生成角色在场景中动作的视频✅ 支持多集连载保持角色一致性平台地址非常漫剧五、总结与展望5.1 核心收获通过完整的测试流程我们掌握了以下关键技术图像合成策略D角色一致性最佳策略E总体效果最佳多图输入是参考而非融合视频生成关键帧模式会导致角色消失先合成再生成视频是成功方案提示词要强调角色持续可见提示词技巧正面描述比负面描述更有效详细描述了角色动作可以防止角色消失使用强约束词exact same character5.2 技术对比技术方案角色一致性场景融合成功率推荐度图像合成策略D⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐图像合成策略E⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐视频生成关键帧模式⭐⭐⭐⭐⭐⭐⭐❌ 不推荐视频生成先合成再生成⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐六、参考资源Agnes AI 官网AgnesAPI文档https://platform.agnes-ai.com/docs漫剧平台非常漫剧技能GitHub仓库GitHub - cnskycn/agnes-api-skill: Agnes AI API Skill - image and video generation · GitHubCSDN专栏https://blog.csdn.net/liuzi511/category_13005281.html结语通过本文的完整测试我们深入探讨了角色与场景一致性这一核心问题并提供了可行的解决方案。关键要点回顾图像合成策略D角色一致性和策略E总体效果视频生成避免关键帧模式使用先合成再生成视频工作流提示词技巧正面描述、详细动作描述、强约束词希望本文能帮助你在使用Agnes AI API时更好地控制角色和场景的一致性创造出更优质的内容如果你有任何问题或建议欢迎在评论区留言讨论 系列文章导航第一篇Agnes AI API 完整使用指南第二篇Agnes AI API 性能优化与高级技巧第三篇Agnes AI API 多角色对话视频生成实战第四篇角色与场景一致性完整实战本文