【免费下载链接】PrismWe propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K.项目地址https://gitcode.com/gh_mirrors/prism69/Prism点击查看免费下载Prism 是一个面向2K 分辨率原生视频-音频联合生成的动态稀疏注意力Dynamic Sparse Attention训练框架核心架构由 MOVA 双塔 DiT、双向 a2v/v2a 条件桥与 Flow Matching 配对噪声调度三部分组成。本文带你完整拆解这三者如何协同工作无需深奥的数学背景。Prism 解决了什么问题高分辨率视频生成最大的瓶颈是Full Attention 的二次方复杂度分辨率越高token 数爆炸注意力摊在冗余 token 上学习信号被稀释。Prism 的思路是把 token 序列组织成时空宏区Macro-Zone让注意力结构随局部内容自适应用视频特征通道方差a2v 交叉注意力范数两个信号为每个宏区动态分配块形状配合Top-k / Top-p 混合块选择实现每个 query 的自适应稀疏度。实验表明 Prism 相比 Full Attention 获得2.5× 训练加速且生成质量更优。框架总览见下图双塔 DiT一塔管画面一塔管声音Prism 的生成主干是MOVA 双塔结构一个视频 DiTvideo_dit基于 WanModel和一个音频 DiTaudio_dit基于WanAudioModel各自独立处理自己的模态 token组件说明Video DiT处理 3D 视频 token时间×高×宽网格支持 3D RoPE 位置编码Audio DiT处理 1D 音频 token44100/2048 ≈ 21.5 fps 的音频步长使用 1D RoPEvideo_dit_2可选的第二级视频专家与boundary_ratio0.9配合实现高噪声/低噪声双专家分工加载逻辑集中在 mova.pyMOVABridge.from_mova_pretrained()从 MOVA 预训练目录中分别加载video_dit/、video_dit_2/、audio_dit/、dual_tower_bridge/等子模块。关键设计是FusedMOVABlock融合块它把视频塔第 i 层、音频塔第 i 层和两个方向的桥接模块打包成一层统一前向。每一层的执行顺序是先桥接用两塔的原始状态分别计算 a2v 和 v2a 条件残差按a2v_scale/v2a_scale叠加回各自输入再进塔视频 block 与音频 block 各自完成自注意力 FFN稀疏注意力视频自注意力中启用 BSA 时会复用第 1 步的 a2v 桥接残差做音频引导评分见下文。视频塔层数多于音频塔时剩余的视频层作为remaining_video_blocks独立运行——即两塔层对齐的部分才做跨模态交互。a2v / v2a 条件桥让画面听到声音声音看到画面双塔之间不是简单拼接而是通过 interactionv2.py 中的DualTowerConditionalBridge双塔条件桥实现双向条件注入层映射策略shallow_focusCrossModalInteractionController决定哪些层做交互。默认策略shallow_focus只在前 1/3 层最多 10 层插入双向桥避免深层不对称也支持distributed每 3 层一次、progressive浅层密集 深层稀疏等策略。桥接单元条件交叉注意力每个交互层包含两个ConditionalCrossAttentionBlocka2vaudio→videoquery 是视频 token3072 维隐藏态key/value 来自音频 token1536 维隐藏态输出以残差形式加到视频塔告诉画面哪个区域该响v2avideo→audio方向相反让音频塔感知画面内容例如口型、动作时机。两个方向都支持跨模态 RoPE 对齐build_aligned_freqs()按音频步长为基准把视频帧位置换算到同一时间轴VAE 时间下采样 4 倍还可加首帧偏置使跨模态注意力天然具备时间对齐性。桥接强度由condition_scale统一控制推理时可外置覆盖类似 CFG scale 的桥接 CFG。视觉塔 ──a2v 桥──▶ 音频塔 音频条件化视觉 视觉塔 ◀──v2a 桥── 音频塔 视觉条件化音频一个巧妙的联动桥接残差反哺稀疏注意力注意 mova.py 中FusedMOVABlock.forward()会把未经缩放的 a2v 桥接残差传给视频 block。视频自注意力见 wan_video_dit.py 的SelfAttention.forward在 BSA 评分时取它的逐 token L2 范数‖Δh_v‖₂作为音频对该视觉区域影响强度的代理信号——发声区域口型、乐器范数大就会被分配更细的块、保留更多注意力。这就是 README 中说的跨模态交互天然集中在发声区域在代码里的落点。Flow Matching 噪声调度视频和音频各走各的时间轴Prism 采用Flow Matching训练范式其配对调度器FlowMatchPairScheduler见 flow_match_pair.py专为双塔设计输出形状为[num_timesteps, 2]的时间步对(visual_t, audio_t)。三个核心机制1. Shift 重参数化基础 σ 曲线是线性插值随后应用著名的 shift 变换σ shift · σ / (1 (shift − 1) · σ)shift越大越多去噪步数被分配给高噪声阶段负责全局结构少数的低噪声步数留给细节精修。2. dual_sigma_shift双塔独立 shift这是 Prism 的亮点。推理时通过set_pair_postprocess_by_name(dual_sigma_shift, visual_shift..., audio_shift...)为视频列和音频列各自构建独立的 σ 曲线训练默认visual_shift9.0/audio_shift5.0推理推荐720p 用7.01080p 用9.0–13.02K 用13.0–17.0VISUAL_SHIFT音频7.0。原因是视频 token 数远多于音频高分辨率下视频塔需要把更多步数压到高噪声段以保证结构质量而音频塔序列短较激进的 shift 反而浪费步数。3. 训练目标与采样Flow Matching 的训练目标是简单的速度场noise − sampletraining_target加噪是线性插值(1−σ)·x₀ σ·noiseadd_noise推理每步更新prev_sample sample v·(σ_next − σ)。双塔损失按video_loss_weight0.75 / audio_loss_weight0.25加权合并。三者如何协同一步去噪里发生了什么把三大件串起来一个 denoising step 的完整流程是调度器按双 σ 曲线取当步时间步对(t_v, t_a)视频塔和音频塔各自拿到自己的噪声水平双塔并行前向FusedMOVABlock逐层执行——先由 a2v/v2a 桥用对方的原始隐状态注入条件视频 block 内的 BSA 再借助 a2v 残差范数做音频引导的块级稀疏选择随后两塔各自完成自注意力与 FFN动态块形状dynamic_block_shape.py 提供 13 种候选形状如(4,4,4)各向同性、(8,2,4)纵向细分为口型/人脸、(2,4,8)横向细分为快速运动每个宏区按内容方差 音频耦合强度挑一个Top-k Top-p 混合选择在 bsa_interface.py 的 Triton 门控内核中先取分数最高的 k 个块再沿 CDF 累积到cdf_threshold默认 0.20逐 query 自适应稀疏更新样本两塔分别按各自 σ 差做一步外推进入下一步。这样稀疏注意力、跨模态桥接和噪声调度不是三个孤立模块而是共享同一份前向数据流桥接残差既是条件注入量又是稀疏注意力评分信号。实际案例与上手参考项目自带若干文生视频音频ti2va示例位于assets/ti2va_cases/例如 case-1 用一张人物照片配合带speech标签的结构化 prompt生成口型、语音与画面联动的视频推理只需两条命令之一bash prism_infer.sh # 单卡 / DeepSpeed 多卡720p 推荐 bash prism_infer_fsdp.sh # FSDP 多卡1080p / 2K 推荐与本文架构直接相关的核心参数参数作用VISUAL_SHIFT/AUDIO_SHIFT双塔 Flow Matching 噪声调度 shiftENABLE_BSA/BSA_SPARSITY开关 Prism 块稀疏注意力及 top-k 稀疏率ENABLE_IVPQ_DYNAMIC_BLOCK开关动态块形状分配CFG_SCALE无分类器引导强度默认 5.0训练侧入口为 train_t2va_wan.py两级 YAML 配置顶层 wan_ti2va.yaml 分辨率注入配置如 wan_15B_ti2va_2k_init_top_k_p.yaml分别控制并行/优化器与损失权重/噪声 shift用bash scripts/pretrain/pdsh_train.sh一键拉起。总结Prism 的架构精髓可以概括为一句话双塔 DiT 负责各管一摊a2v/v2a 条件桥负责互相通气Flow Matching 配对调度负责各走各的噪声节奏而动态块稀疏注意力则把桥接产生的跨模态信号直接转化为计算量的节省——2.5× 加速的同时还提升了生成质量。理解了这条数据流再深入 BSA 的 Triton 内核或训练细节就会顺畅得多。赞分享【免费下载链接】PrismWe propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K.项目地址https://gitcode.com/gh_mirrors/prism69/Prism点击查看免费下载相关推荐MiniMax-Music3-bf16架构全景拆解Qwen3自回归、RVQ解码器、Flow-Matching DiT与声码器如何协同工作MiniMax Music3 bf16架构全景拆解Qwen3自回归、RVQ解码器、Flow Matching DiT与声码器如何协同工作 MiniMax Murho-fr3-duo模型架构深度拆解VLM骨干与Flow Matching动作专家如何协同工作rho fr3 duo模型架构深度拆解VLM骨干与Flow Matching动作专家如何协同工作 rho fr3 duo 是微软开源的双臂机器人FR3 duMiniMax-Music3-4bit 架构拆解语言模型、RVQ 深度解码器、Flow Matching 与声码器如何协作MiniMax Music3 4bit 架构拆解语言模型、RVQ 深度解码器、Flow Matching 与声码器如何协作 MiniMax Music3 4b上一篇高效控制利器STM32F103四路PWM输出项目推荐下一篇KcBERT-base训练全记录1.2G模型如何用12.5GB新闻评论数据从零开始训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考