写在前面【从零走向AGI】旨在深入了解通用人工智能AGI的发展路径从最基础的概念起逐步构建完整的知识体系。项目地址https://github.com/AI-mzq/From-Zero-to-AGI.git魔方AI空间猫先生从零走向AGI面试面经AIGC算法岗/开发岗面试面经交流社群涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源欢迎大家加入https://t.zsxq.com/YtJ09导读长视频生成把扩散模型的成本同时推向三个方向时间序列越长训练时的激活、VAE 编码和 DiT 计算越重自回归推理不断累积 KV cache最终的视频还要经过 VAE 解码模型侧“帧率很高”并不等于用户很快拿到成片。LongLive-2.0把这些瓶颈视为一个训练—推理协同问题。训练侧以 Balanced Sequence ParallelismBalanced SP重新排列 clean history 与 noisy target让每张 GPU 同时承担上下文和监督目标并把 VAE 编码按相同时间块切开NVFP4 随后覆盖 AR 训练和少步蒸馏。推理侧采用 W4A4 NVFP4、FP4 KV cache、并行反量化与异步流式 VAE 解码。算法侧则用分块提示和双层 attention sink 支持多镜头、交互式长视频。64 秒训练中NVFP4 Balanced SP 将单次迭代从 BF16 SP 的 1372.9 秒降至 639.5 秒2-step 版本在 5B、720p 设置下达到 45.7 FPS。速度并非没有代价VBench 总分从 BF16 4-step 的 85.06 降到 NVFP4 2-step 的 83.14VBench-Long 的动态程度也出现明显下降。猫先生认为LongLive-2.0 的技术价值在于把低精度从“训练完再压缩”的末端操作提前成了数据布局、训练数值格式、缓存表示和解码调度共同遵守的系统约束。45.7 FPS 是这套协同设计的结果不能只归功于 FP4。论文标题LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation论文地址https://arxiv.org/abs/2605.18739项目主页https://nvlabs.github.io/LongLive/LongLive2/GitHubhttps://github.com/NVlabs/LongLiveHuggingFacehttps://huggingface.co/Efficient-Large-Model/LongLive-2.0-5B示例数据集https://huggingface.co/datasets/Efficient-Large-Model/LongLive2.0-Toy-Dataset图 1LongLive-2.0 的 BF16 / NVFP4 多镜头样例以及训练速度、推理速度和显存对比。来源论文 Figure 1。原文脉络第 1 节把长视频生成的成本拆成训练、推理和部署三类瓶颈。第 2 节介绍 Balanced SP 与 NVFP4 训练第 3 节沿 W4A4 推理、KV cache 量化和异步 VAE 解码展开。第 4 节补齐多镜头 AR 训练与 attention sink第 5 节评估速度、显存和生成质量第 6 节总结硬件依赖等限制。相关工作、12 万条多镜头数据的构造、SP 细节和量化消融被放在附录。1. Introduction长视频需要端到端基础设施已有长视频工作主要改造生成算法例如使用因果注意力、滑动窗口或 Self-Forcing 式蒸馏。系统实现仍有两处断裂。其一训练和部署精度不同常见 PTQ 在 BF16 训练结束后才把模型压到 4 bit数值误差没有进入训练适配。其二许多速度报告只计算扩散模型不计算 KV cache 管理和 VAE 解码难以代表端到端延迟。LongLive-2.0 基于 Wan2.2-TI2V-5B把双向扩散模型直接微调成分块自回归模型。每个时间块根据已经生成的 clean history 去噪当前 noisy target多个镜头可以绑定不同提示词。整套系统同时覆盖长视频训练、少步蒸馏和流式推理。附录中的相关工作进一步界定了它的位置。Ring Attention、DeepSpeed-Ulysses 和各类视频 SP 主要优化通用长序列的通信或激活显存没有处理 AR teacher forcing 特有的 clean/noisy 成对布局既有 FP4 视频方案多集中在部署期 PTQ也缺少低精度训练、KV cache 与解码流水线的统一实现。LongLive-2.0 因此更接近一篇系统论文生成算法提供工作负载结构贡献集中在如何让这类结构稳定地跨卡、跨精度运行。图 2训练侧组合 AR training、Balanced SP、NVFP4 和独立 DMD LoRA推理侧组合 W4A4、FP4 KV cache、并行反量化与异步解码。来源论文 Figure 2。2. Training InfrastructureBalanced SP 与 NVFP4 如何配合2.1 Balanced SP让每张 GPU 都拥有 clean 与 noisy 时间块高效 teacher forcing 会把同一段视频编码成两条流clean latent 提供历史上下文noisy latent 作为当前预测目标。块稀疏注意力允许每个 noisy chunk 读取此前的 clean chunks 和自身 noisy tokens一次前向即可监督多个时间块。普通 Sequence Parallelism 直接切分[all clean; all noisy]长序列容易让部分 GPU 主要拿到 clean token另一些 GPU 承担带损失的 noisy token计算负载不均VAE 还可能在各 rank 上重复编码完整视频。Balanced SP 改为按时间范围分配所有权。每个 rank 本地编码自己的原始视频块以及覆盖 VAE 时间感受野的左侧 halo再构造同一时间段的 clean / noisy latent。Ulysses All-to-All 交换后注意力在通信原生的交错序列上直接生成 teacher-forcing mask无需每层先重排成[all clean; all noisy]。VAE 的单卡编码量由整段视频缩小到“局部块 halo”损失 token 也均匀落到各卡。图 3传统 SP 存在 loss 负载不均和重复 VAE 编码Balanced SP 统一了视频块、clean/noisy latent、注意力 mask 与 loss 的分片方式右侧 NVFP4 进一步加速 GEMM。来源论文 Figure 3。猫先生认为Balanced SP 的新意不在 All-to-All 本身而在于让 teacher forcing 的语义结构决定并行布局。它优化的是 clean/noisy 配对、VAE 前处理和损失负载这一整条路径属于算法结构与并行执行的联合设计。2.2 NVFP4用训练感知的 4 bit 对齐部署NVFP4 用 E2M1 保存 4 bit 数值每 16 个元素配一个 FP8 E4M3 block scale整个张量再配 FP32 global scale。线性层的权重采用二维 block scaling激活与梯度采用一维 block scaling归约、归一化统计和优化器状态等敏感部分继续保留较高精度。权重梯度路径还使用 Random Hadamard Transform 缓解异常值对量化的影响。AR 训练和 DMD 蒸馏都在 NVFP4 下运行。DMD 中的 generator、real-score 与 fake-score 共置于 GPU量化主干被冻结只训练 LoRA。作者还为 block scale 比较“映射最大值到 6”与“映射到 4”两种编码逐块选择重建误差更小的方案缓解 E2M1 在高幅值区间过稀的问题。2.3 Clean Pipeline长视频能力与少步能力分开训练Self-Forcing 系列通常经历 ODE 初始化、短视频 DMD、长视频继续训练等阶段。LongLive-2.0 先用 12 万条经过镜头切分和逐镜头描述的长视频直接把基础扩散模型训练成长、多镜头、可交互的 AR 模型另一条支路从原始 Wan2.2 模型独立训练少步 DMD LoRA。训练完成后把 LoRA 注入不同 AR checkpoint即可把 4 步推理压到 2 步。这 12 万条视频按 16—32 秒、32—64 秒和 64 秒以上三档均匀分布。数据管线先切分镜头再从场景、人物、动作和摄影语言等维度生成结构化描述最后合并为跨镜头叙述带水印、剧烈抖动、异常倍速、过曝、失焦和低运动量的样本会被过滤。所谓“直接长视频训练”依赖的并不只是并行效率还包括能为分块提示和镜头切换提供监督的数据组织。图 4AR 长视频训练与少步 LoRA 蒸馏可以并行进行LoRA 最后注入 AR 模型省去 ODE 初始化和多阶段 long tuning。来源论文 Figure 4。独立 LoRA 提高了复用性但“clean pipeline”依赖强数据和大规模基础设施。AR 阶段使用 32 张 GB200、训练 600 次迭代消耗约 1920 GB200 GPU 小时DMD LoRA 还需 16 张 GB200、5000 次迭代和约 60 GPU 小时。流程阶段少了资源门槛仍然很高。3. Inference Infrastructure模型、缓存与解码一起降成本3.1 W4A4 与 FP4 KV cache部署时权重和激活均使用 NVFP4即 W4A4。训练期间已经适应目标精度因此比直接 PTQ 更接近 BF16 质量4-step VBench 总分分别为 BF16 85.06、PTQ NVFP4 84.04、预训练 NVFP4 84.51。KV cache 随历史长度线性增长。LongLive-2.0 按 8 帧一块量化 K/Vblock scale 与模型 NVFP4 路径保持一致实际压缩比约 3.6 倍。定制 CUDA kernel 并行恢复滑动窗口内的缓存块量化和反量化开销控制在 2% 以下。3.2 异步流式 VAE 解码集中式解码会先积累全部 latent再顺序执行 VAE。LongLive-2.0 把 3D VAE 改成逐块解码并立即卸载到 CPU同时单独使用一张 GPU 运行 VAEDiT 生成下一块 latent 时VAE 并行解码上一块。这样 VAE 显存由随视频块数量线性增长变为只保留一个时间块。图 5FP4 KV cache 控制历史显存并行反量化取回当前窗口独立 VAE GPU 与 DiT 流水执行。来源论文 Figure 6。异步解码把 64 秒视频的端到端时间从 99.5 秒降到 57.6 秒但它使用了额外一张 GPU。这个数字证明流水线能隐藏解码开销也意味着“端到端加速”与“单卡效率提升”应分开理解。4. Algorithm-level Designs多镜头提示与双层 Attention Sink每个 latent chunk 绑定自己的文本提示提示在 chunk 边界切换即可形成新镜头已经生成的历史无需重新计算。滑动窗口让每步注意力成本保持有界却会在旧帧离开窗口后逐渐丢失人物和场景锚点。Multi-Shot Attention Sink 同时保留两组 anchor视频最开始的global sink维持全局人物身份当前镜头最开始的shot-level sink维持镜头内部的外观和布局。提示切换时只重新绑定 shot-level sinkglobal sink 与此前历史保持不变shot sink 只用起点和长度指针定位不需要额外复制 KV。图 6global sink 跨镜头保留身份shot-level sink 在每次场景切换后重新锚定局部一致性。来源论文 Figure 7。这套机制处理的是长视频生成中两种不同时间尺度的记忆跨镜头应保留“是谁”镜头内部还要保留“此刻长什么样、场景如何摆放”。固定一个全局首帧无法同时完成两项任务。5. Experimental Results速度、显存与质量的交换关系5.1 训练效率输入长度BF16 无 SPBF16 SPBF16 Balanced SPNVFP4 Balanced SP16 秒75.3 s52.2 s45.8 s40.1 s32 秒202.7 s162.7 s136.8 s119.3 s64 秒OOM1372.9 s1196.5 s639.5 s序列越长NVFP4 的收益越明显因为 GEMM 在总耗时中的占比上升。DMD 三模型逐步量化后单卡峰值显存从 70.5 GB 降至 49.0 GB即 BF16 基线的 0.69 倍。原论文 Figure 1 把 1372.9 和 639.5 标成毫秒Table 1 标题与第 5.1 节正文则明确使用秒本文按表格和实验正文采用秒。这处单位不一致不影响 2.15 倍的相对加速比但复现时不应直接混用绝对延迟。5.2 推理效率64 秒视频设置FPS端到端时间峰值显存BF164 steps24.8112.9 s36.4 GBNVFP44 steps32.096.0 s29.7 GB NVFP4 KV cache29.799.5 s19.4 GB 异步解码29.757.6 s19.4 GBNVFP42 steps45.736.3 s19.4 GBKV cache 量化优先换取显存因反量化带来轻微速度损失异步解码主要缩短端到端等待少步 LoRA 才把模型吞吐推到 45.7 FPS。三项优化解决的是不同瓶颈。表中的 FPS 与端到端时间是两个指标。45.7 FPS 描述模型侧吞吐包含流式 VAE 后64 秒视频需要 36.3 秒完成约为 1.76 倍实时速度。它依然达到实时生成但不能把 45.7 FPS 直接当作完整流水线的最终输出帧率。5.3 生成质量短视频 VBench 中LongLive-2.0 BF16 4-step 得到 85.06NVFP4 4-step 为 84.51NVFP4 2-step 为 83.14。速度从 24.8 FPS 提升到 45.7 FPS 的同时总分下降 1.92。60 秒 VBench-Long 中BF16 与 NVFP4 的平均排名分别为 3.67 和 3.83。NVFP4 的主体一致性略升至 97.62背景一致性维持在 96.97但动态程度由 BF16 的 60.62 降到 45.88。量化版本仍保持较强长程一致性运动丰富度却是需要继续观察的质量维度。猫先生认为论文用速度、显存和基准质量构成了较完整的证据但 45.7 FPS 对应NVFP4 2-step LoRA Blackwell 原生支持 异步解码流水线。脱离这组软硬件条件单独引用帧率会高估方法在普通 GPU 上的可迁移性。6. 结论、局限与可复现性NVFP4 的核心加速依赖 Blackwell Tensor Core。A100、H100 等非 Blackwell GPU 缺少原生 FP4 kernel论文提供 SP inference 作为替代并用 4 bit KV cache 降低 All-to-All 通信但无法获得完全相同的单卡低精度路径。质量评测以 VBench 和 VBench-Long 为主多镜头交互能力主要由演示与 attention sink 消融支撑尚缺少大规模用户交互、镜头级提示遵循和叙事一致性评测。异步解码还增加一张专用 GPU部署成本需要结合吞吐并发量计算。官方已经开放代码、5B 权重、NVFP4 2-step / 4-step 模型和示例数据复现接口相对完整完整训练仍需要 GB200 集群、自定义 CUDA / Triton kernel 与较高 GPU 时预算。LongLive-2.0 把长视频系统拆成四个相互咬合的层次Balanced SP 负责长序列训练布局NVFP4 对齐训练与部署精度量化 KV cache 和异步 VAE 处理端到端推理多镜头 sink 稳定长程记忆。读者应带走的判断是长视频“实时化”不是把扩散步数降到 2 就结束了训练布局、数值格式、历史缓存和解码流水线必须一起设计。推荐阅读► 技术资讯 魔方 AI 新视界► 项目应用开源视界► 技术专栏 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列