从跑通到出片JoyAI-Echo 分钟级长视频生成完整上手指南【免费下载链接】JoyAI-EchoJoyAI-Echo这是一个独立的、仅用于推理的版本旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合实现了7.5倍的速度提升显著增强了视觉质量和对齐效果。项目地址: https://ai.gitcode.com/jd-opensource/JoyAI-EchoJoyAI-Echo 是一款分钟级多镜头音视频生成工具给它一份镜头脚本它能产出带同步音频的长视频故事最长 5 分钟角色外观和音色在镜头切换之间保持稳定推理速度比原始多步管线快约 7.5 倍单张 48GB 显存的显卡就能跑默认配置。官方 GSB 用户测试里对比同场景竞品的偏好度为音频质量 81.7%、提示遵循 80.6%、视觉美观 63.6%、角色一致性 59.4%长视频场景的优势比较明确。机器能不能跑显存、依赖和权重先核对默认配置是 1280×736 分辨率、每镜头 241 帧、25fps峰值显存约 46–50GB所以单张 H100/A10080GB或任何 48GB 以上的卡都能直接跑。显卡更小也不是不能用把帧数和分辨率降下来即可命令见后文。核对项要求GPU 显存峰值 46–50GB单卡 48GB 起即可软件栈Python 3.11 PyTorch 2.8 CUDA 12.8另需 FFmpeg权重文件主权重 echo-longvideo-release.safetensors 与文本编码器 gemma-3-12b/软件栈对应仓库里的 environment.yml 和 requirements.txt照着装即可。权重需要单独获取后放到推理目录下的 checkpoints/布局固定为checkpoints/ ├── echo-longvideo-release.safetensors └── gemma-3-12b/另外注意许可边界该项目基于 LTX-2遵循 LTX-2 Community License限定学术研究与非商业用途商用需另行联系版权方。第一次推理怎么跑通代码和推理脚本从仓库获取git clone https://gitcode.com/jd-opensource/JoyAI-Echo cd JoyAI-Echo环境用 uv 两步搞定也支持 conda按 environment.yml 创建uv venv --python 3.11 .venv source .venv/bin/activate uv pip install --extra-index-url https://download.pytorch.org/whl/cu128 -r requirements.txt权重就位后直接运行python inference.py结果输出在 inference_result/outputs/提示文件名/inference_时间戳/ 下视频和音频在同一目录。第一次建议就用默认配置跑一个单镜头确认画面、音频、输出路径都没问题再去做多镜头。提示词怎么写每个镜头包含六个部分提示词文件放在 prompts/ 目录下内容是单个 JSON 对象prompts 字段是一个字符串列表每个字符串就是一个完整镜头写一个字符串出单镜头写多个就是多镜头故事。新镜头会自动参考前面镜头的视觉与语音记忆故事级一致性由跨模态记忆库维持。每个镜头内部按固定顺序写六部分缺了哪部分生成时哪部分就容易失控部分写什么角色与主体画面中所有人的外观年龄、体型、发型、五官、服装有台词的还要写音色动作与台词角色做什么、说什么风格整体视觉与情绪基调如写实电影感、冷调日光镜头运动景别与运镜如面部稳定特写、腰部以上中景背景主体身后的场景与细节音效与 BGM场景声音和背景音乐或明确写无背景音乐官方特别强调一点提示词先过增强器再推理。多镜头用 prompts/long_story_writer_system_prompt.md单镜头用 prompts/short_story_writer_system_prompt.md把简短想法扩写成规范的镜头描述——不扩写直接喂模型效果明显偏弱。效果不达预期时怎么调症状调整角色外观或音色前后镜头漂移每个镜头用同一套描述词写角色服装、发型、音色别换说法画面和文字描述对不上先用增强器把提示词扩写成完整镜头描述再推理显存不够或生成太慢降帧数和分辨率python inference.py --num-frames 121 --video-height 480 --video-width 832多镜头衔接生硬在相邻镜头提示词里补过渡描述保持场景与时间线连贯先用单镜头、低分辨率把整条流程跑通确认画面和声音都正常后再回到默认 1280×736、241 帧出正式片子提示词记得先过增强器再交给模型。【免费下载链接】JoyAI-EchoJoyAI-Echo这是一个独立的、仅用于推理的版本旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合实现了7.5倍的速度提升显著增强了视觉质量和对齐效果。项目地址: https://ai.gitcode.com/jd-opensource/JoyAI-Echo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考