note新问题定义首次将视频摘要从回归问题重新定义为条件生成问题允许一个视频对应多个合理摘要契合任务的主观本质新方法首次将扩散模型引入视频摘要设计了基于 Transformer 交叉注意力的评分去噪器能够从随机噪声生成多样化的高质量摘要。SummDiff 视频特征作为条件扩散模型负责从随机噪声生成一组“帧重要性分数”再根据分数选片段它解决的是视频摘要主观、多答案的问题不是生成新视频。新评估工具从背包优化理论出发提出了 CIS、WIR、WSE 三个新指标更准确地衡量预测评分对最终摘要质量的贡献文章目录note一、研究动机1. 视频摘要的天然主观性2. 传统方法的根本性矛盾3. 核心洞察从回归到生成4. 为什么选扩散模型二、论文核心1. 问题重新定义2. 整体流程3. 关键技术细节4. 摘要生成Knapsack 优化三、实验结果1. 数据集与评测设置2. 主要结果3. 定性分析四、分析与贡献1. 基于背包问题的新评估指标2. 消融实验核心发现3. 论文的三大贡献总结五、如何训练和推理Reference一、研究动机SummDiff: Generative Modeling of Video Summarization with Diffusion2025.10 UIUC1. 视频摘要的天然主观性视频摘要的任务是从一段长视频中选出最重要的部分拼成一个短摘要。但什么算最重要不同人有完全不同的判断标准——有人希望全面覆盖故事线有人只想看最精彩的瞬间高亮检测。因此主流数据集TVSum、SumMe都会收集多位标注者的独立打分目的就是保留这种多样性。2. 传统方法的根本性矛盾几乎所有现有方法都做了一件自相矛盾的事情把多个标注者的主观评分取平均值然后训练模型去回归这个平均真相。这隐含了一个不成立的假设——每个视频存在唯一正确的摘要方式标注者之间的差异只是噪声。但实际上那些差异是真实存在的偏好分歧不是噪声。论文给出了一个非常直观的反例假设一半标注者选了视频的前四分之一另一半选了最后四分之一简单平均之后前后两段的重要性分数变得差不多结果两种截然不同的有效摘要都被抹平了模型学到的是一个谁都不满意的四不像3. 核心洞察从回归到生成作者提出的视角转换是与其逼模型预测一个正确答案不如让它学会**好摘要长什么样的分布**然后从该分布中采样出多个合理的摘要。同一个视频给定不同的随机噪声就能生成多个不同但都合理的摘要——恰好对应不同人的主观偏好。4. 为什么选扩散模型扩散模型已在图像/视频生成等条件生成任务中证明了强大的分布建模能力它天然支持从同一输入出发生成多个不同但合理的输出完美契合视频摘要需要反映多种主观视角的需求二、论文核心1. 问题重新定义传统方法把视频摘要定义为回归问题给定视频X XX预测每个帧的重要性分数s ∈ [ 0 , 1 ] N s \in [0,1]^Ns∈[0,1]N目标是逼近平均分数1 ∣ R ∣ ∑ r s ( r ) \frac{1}{|R|}\sum_r s^{(r)}∣R∣1​∑r​s(r)。SummDiff 把它重新定义为条件生成问题给定视频X XX学习其合理摘要评分的条件分布p ( s ∣ X ) p(s|X)p(s∣X)使得模型能从该分布中采样出多个 plausible 的评分向量。传统回归只是这个设定中方差为零的特例。2. 整体流程输入视频 → 帧编码自注意力 → 视觉特征 Z ↓ 随机噪声 u_T ─→ 扩散去噪T步迭代←───┘ ↓ 去噪后的 logit 评分 → sigmoid → 重要性分数 ŝ₀ ↓ 时序分割(KTS)→ 片段级评分 → 背包算法 → 最终摘要3. 关键技术细节1Logit 变换原始评分s 0 ∈ [ 0 , 1 ] s_0 \in [0,1]s0​∈[0,1]直接加高斯噪声不方便。作者先将其变换到无界空间u 0 log ⁡ s 0 1 − s 0 u_0 \log\frac{s_0}{1-s_0}u0​log1−s0​s0​​在 logit 空间执行扩散的前向加噪和反向去噪最后再 sigmoid 回来。2量化编码Codebook将[ 0 , 1 ] [0,1][0,1]均匀分成K KK段论文实验表明K 200 ∼ 400 K200\sim400K200∼400最优每段关联一个可学习嵌入向量。去噪时噪声评分经过 sigmoid 后映射到对应的嵌入作为 Transformer 的查询输入。这样做比直接把分数当连续标量效果更好。3Transformer 交叉注意力去噪器查询Q QQ量化后的评分嵌入键/值K , V K, VK,V视觉特征Z ZZ时间步t tt和位置编码Φ \PhiΦ通过 AdaLN-Zero 模块注入而非简单相加到查询中防止信息混淆多层堆叠每层包含缩放平移操作、交叉注意力和残差连接4训练目标最小化预测评分与真实个体评分之间的 MSEL ∥ s 0 − s ^ 0 ∥ 2 2 \mathcal{L} \|s_0 - \hat{s}_0\|_2^2L∥s0​−s^0​∥22​注意训练时用的是每个标注者的个体评分而不是平均评分。这让模型真正学到了多样性。5推理过程从随机噪声u T ∼ N ( 0 , I ) u_T \sim \mathcal{N}(0,I)uT​∼N(0,I)出发通过 DDIM 反向迭代逐步去噪最终得到u ^ 0 \hat{u}_0u^0​经 sigmoid 得到重要性分数s ^ 0 \hat{s}_0s^0​。不同随机种子产生不同摘要。4. 摘要生成Knapsack 优化得到帧级评分后先用 KTSKernel Temporal Segmentation将视频划分为语义片段取片段内帧的平均分作为片段级评分v i v_ivi​。然后用二进制背包算法在长度约束下选择总价值最高的片段组合。这一步虽然常被忽略但对最终摘要质量影响很大——论文后面专门围绕它设计了新评估指标。三、实验结果1. 数据集与评测设置数据集规模标注特点SumMe25 个视频15~18 个独立二值摘要/视频TVSum50 个视频20 个独立重要性评分/视频Mr. HiSum31,892 个视频大规模来自 YouTube Most Replayed 统计评测协议TVT7:1:2 随机划分训练/验证/测试报告 5 次随机划分的平均5FCV五折交叉验证容易过拟合测试集评估指标Kendall’sτ \tauτ、Spearman’sρ \rhoρ排名相关性以及论文新提出的基于背包分析的三个指标见下文。2. 主要结果1小规模数据集SumMe / TVSumTVT 划分表 1SummDiff 在两个数据集上均取得最佳τ \tauτ和ρ \rhoρ5FCV 划分表 2SummDiff 在 SumMe 上达到 SOTA在 TVSum 上与最强基线持平或略优。DMA-SUM 在 TVSum 上虽然最高但在 SumMe 上大幅下降说明泛化性差2大规模数据集Mr. HiSum表 3 显示SummDiff 在所有指标上大幅领先最强基线 CSTAτ \tauτ: 0.175 vs. 0.128ρ \rhoρ: 0.238 vs. 0.185MAP50%: 65.44 vs. 63.38MAP15%: 33.83 vs. 30.42这证明了方法在大规模数据上的可扩展性。3. 定性分析1多视角覆盖热图图 3对 TVSum 每个视频生成 100 个不同摘要与 20 个标注者逐一计算 Kendall’sτ \tauτ。热图显示基线方法CSTA、PGL-SUM、VASNet每个视频只产生一个确定性摘要只能匹配少数标注者而 SummDiff 生成的摘要覆盖了绝大多数标注者的偏好颜色深浅反映了匹配比例的多样性。2PCA 投影可视化图 4将人工标注摘要和模型生成摘要在标注摘要的 PCA 空间中投影。等高线图显示真实标注的分布有多个峰代表不同摘要风格。SummDiff 的生成点紧密分布在各个峰周围而基线只产生一个偏离中心的单点。3具体案例对比图 5对一个 TVSum 视频SummDiff 能生成两种不同的摘要分别精确匹配两种不同的真实标注而所有基线只能生成一个不够准确的单一摘要。四、分析与贡献1. 基于背包问题的新评估指标传统 F1 指标对视频分割方式过于敏感且不合理地偏好由大量短镜头组成的摘要。排名指标τ、ρ则完全忽略了最终摘要生成中的背包优化步骤。作者从背包问题KP的敏感性分析出发提出了三个新指标指标全称含义CISConfidence of Importance Score衡量预测评分能在多大程度上保证生成与真实标注相同的背包最优解。越低越好≤0 表示保证一致WIRWeighted Inclusion Ratio加权纳入率。计算每个预测评分落在安全区间扰动后仍能保持原最优解的比例按片段时长加权。越高越好WSEWeighted Sum of Errors加权误差和即∑ i w i Δ v i \sum_i w_i \Delta v_i∑i​wi​Δvi​。越低越好表 4 显示SummDiff 在这三个指标上全部最优说明它不仅评分排名好而且生成的评分真正有利于背包算法选出正确的摘要片段。2. 消融实验核心发现1组件贡献递进表 5从纯编码器开始逐步加入去噪器、可学习嵌入、AdaLN、量化等模块τ \tauτ从 0.071 逐步提升到 0.171。去掉量化改用正弦位置编码会导致大幅下降0.171→0.125证实了量化设计的必要性。2量化强度 K表 IK 200 K200K200时效果最好。K KK太小导致区分度不足K KK太大导致每个 bin 样本稀疏。3DDIM 步数表 6即使只用1 步DDIM 推理SummDiff 就已经超过 CSTA增加到 10 步、100 步还能进一步提升。这意味着在实际应用中可以根据速度需求灵活权衡。4推理时间表 II1 步推理约 11ms与 CSTA 相当10 步约 50ms仍在可接受范围内。5个体标注 vs. 聚合标注表 III在 SumMe 上无论用 5 个、10 个还是全部标注者用个体标注训练始终大幅优于用聚合平均分训练。这直接验证了论文的核心主张。3. 论文的三大贡献总结新问题定义首次将视频摘要从回归问题重新定义为条件生成问题允许一个视频对应多个合理摘要契合任务的主观本质新方法首次将扩散模型引入视频摘要设计了基于 Transformer 交叉注意力的评分去噪器能够从随机噪声生成多样化的高质量摘要新评估工具从背包优化理论出发提出了 CIS、WIR、WSE 三个新指标更准确地衡量预测评分对最终摘要质量的贡献五、如何训练和推理SummDiff 的核心很简单它不是用扩散模型生成视频画面而是生成“每一帧/每一段该不该被选进摘要的分数”。传统视频摘要模型一般是{frame_scores:[0.1,0.2,0.9,0.8,0.1]}然后选分数高的片段。问题是视频摘要很主观有人觉得前半段重要有人觉得后半段重要传统方法把多人标注平均掉会丢掉不同人的偏好。SummDiff 明确把视频摘要建模成“条件生成任务”让模型学习“多个合理摘要的分布”而不是只回归一个平均分。([arXiv][1])它用扩散模型的方式是1、训练时把真实的人工摘要分数加噪声变成一串乱的 score然后让模型在“看着视频特征”的条件下把 noisy score 一步步还原成合理的摘要分数。论文里说它先用预训练图像 encoder 提取每帧特征再用 denoiser 从随机噪声中恢复 importance score。2、推理时给一段视频先随机采一个噪声向量{noisy_scores:[0.53,-1.22,0.08,1.76,-0.41]}然后模型不断去噪最后变成{importance_scores:[0.1,0.2,0.9,0.8,0.1]}再通过 KTS 分段 knapsack 选择在长度预算内选出最值得保留的片段。最关键的是因为每次初始噪声不同SummDiff 可以给同一个视频生成多个不同但都合理的摘要方案。例如{summary_A:[10s-20s,45s-55s],summary_B:[12s-25s,80s-95s]}所以一句话SummDiff 视频特征作为条件扩散模型负责从随机噪声生成一组“帧重要性分数”再根据分数选片段它解决的是视频摘要主观、多答案的问题不是生成新视频。Reference[1] SummDiff: Generative Modeling of Video Summarization with Diffusion