1. 项目概述从CVPR竞赛看智能体驱动的视频理解新范式刚结束的CVPR 2026 CASTLE挑战赛我们团队凭借一套名为“基于分层知识图谱检索的智能体多视角长上下文视频理解”的方案拿到了季军。这个标题听起来很学术但内核其实非常务实——它解决的是当前AI在理解超长视频比如几小时的教学录像、监控片段或完整会议记录时普遍存在的“看了后面忘了前面”以及“难以关联跨镜头信息”的顽疾。简单说我们想让机器像一位经验丰富的侦探或剪辑师那样不仅能记住视频里发生的所有事还能主动挖掘不同片段之间的深层联系并基于此进行复杂的推理和决策。传统的视频理解模型无论是基于CNNRNN的老架构还是如今流行的Vision Transformer在处理长视频时都面临巨大挑战。直接输入所有帧计算量和内存会爆炸而均匀采样或分段处理又会丢失关键的时序信息和长程依赖。CASTLE挑战赛提供的正是这类极端场景的数据集视频时长从30分钟到数小时不等包含多个相机视角、复杂的场景切换以及需要结合前后数十分钟信息才能回答的推理问题。这不再是简单的动作识别或物体检测而是要求模型具备“观看-记忆-关联-推理”的完整认知链条。我们的核心思路是引入“智能体”和“分层知识图谱”这两个概念。智能体负责主动、有选择地“观看”和“查询”视频而不是被动地接收所有数据分层知识图谱则作为智能体的外部记忆和推理蓝图将视频内容结构化地存储为不同粒度的知识单元。这套方法本质上是一种“计算资源优化分配”和“信息结构化索引”的结合让模型把有限的注意力精准地用在刀刃上。接下来我会详细拆解我们是如何设计并实现这套系统的其中包含大量在论文和代码中不会提及的工程权衡与调参血泪史。2. 核心架构设计智能体与分层知识图谱如何协同工作整个系统的架构可以比喻为一个配备了一位超级助理智能体和一座结构清晰的图书馆分层知识图谱的调查员。调查员的任务是看完一部长电影后回答一系列深度问题。超级助理不会让他从头到尾傻看而是会根据问题快速翻阅图书馆的目录、章节摘要和关键页笔记引导他只精读相关的片段。2.1 智能体模块的设计哲学与实现智能体是我们系统的“大脑”和“决策中心”。它的设计目标很明确以任务为驱动动态决定看什么、什么时候看、以及怎么看。我们摒弃了让模型一次性处理所有视频帧的“蛮力”方法而是设计了一个基于强化学习范式的决策循环。智能体的基本工作流如下状态感知智能体维护一个当前的状态包括已解析的视频片段摘要、知识图谱的当前查询结果、待解决问题的进展以及历史决策记录。动作空间在每个决策步智能体可以选择多种动作检索向知识图谱发出一个查询例如“查找所有出现人物A和物体B的片段”。精读对知识图谱返回的某个特定视频片段进行高分辨率、帧级别的详细分析。跳转基于当前理解将注意力转移到视频的其他时间点或其他相机视角。推理/回答当认为信息足够时生成对当前子问题的答案或中间推理结果。奖励函数这是训练智能体的关键。我们设计了多级奖励最终奖励最终答案的准确性。中间奖励关键子问题被正确回答、检索到的片段与问题的高相关性通过人工标注或预训练模型打分。效率惩罚对不必要的“精读”或“跳转”动作施加轻微负奖励鼓励高效探索。实操心得智能体动作空间的设计不能太复杂。初期我们设计了过于细粒度的动作如“将镜头拉近”、“调整播放速度”导致智能体难以收敛。最终简化为上述四个核心动作大大提升了训练稳定性。奖励函数的权重调整是另一个“玄学”环节我们花了大量时间进行AB测试发现“最终答案准确性”的权重不宜过高否则智能体容易陷入局部最优不敢进行探索性检索。2.2 分层知识图谱的构建与索引机制知识图谱是系统的“记忆库”。所谓“分层”是指我们按照不同的语义粒度将视频内容组织成三层结构第一层实体与关系层最细粒度。这一层通过目标检测、动作识别、场景分割、语音识别如果视频有音轨等基础模型从视频帧中提取原子化的信息。例如“人物A在时间点T1走进房间B”、“物体C在时间点T2被人物A拿起”。这些三元组头实体关系尾实体构成了知识图谱的基石。第二层事件片段层中等粒度。我们使用时序动作检测或场景分割算法将视频切分成有意义的段落如“对话场景”、“搬运过程”、“冲突发生”。每个事件片段会关联第一层中属于该时间段的所有实体和关系并生成一个稠密的语义嵌入向量作为该片段的摘要。第三层叙事图层最粗粒度。这一层试图构建整个视频的宏观叙事结构。我们利用图神经网络对第二层的事件片段进行聚类和关联识别出故事线、子情节。例如将“准备工具”、“实施操作”、“清理现场”几个事件片段关联成一个完整的“任务执行”叙事链。索引与检索机制 为支持智能体的快速查询我们为每一层都建立了向量索引例如使用FAISS。当智能体发出一个自然语言查询如“找到人物A情绪变化的时刻”查询会被编码成向量然后首先在第三层叙事层进行粗检索定位可能相关的叙事链。接着在相关叙事链下的第二层事件层进行精检索找出具体的事件片段。最后如果需要可以下钻到第一层获取该事件片段内所有细粒度的实体和关系。注意事项基础模型的质量直接决定知识图谱的“地基”是否牢固。我们最初使用通用的开源检测和识别模型发现在特定领域如医疗手术视频表现很差导致上层推理全是空中楼阁。解决方案是用挑战赛提供的数据对基础模型进行微调哪怕只是少量数据的微调对最终效果的提升也是巨大的。另一个坑是时序对齐不同模型处理速度不同确保所有提取的实体和关系在时间轴上精确对齐需要精细的时序同步处理否则会出现“张冠李戴”的严重错误。3. 核心实现细节从视频输入到答案输出的完整流水线这一部分我将拆解从原始视频输入到最终输出答案的每一个核心步骤、使用的具体工具和参数选择。3.1 阶段一离线知识图谱构建这个阶段在视频输入后、智能体启动前完成是后续所有实时操作的基础。步骤1视频预处理与均匀关键帧采样操作使用FFmpeg以每秒1帧1 FPS的速率进行均匀采样。对于数小时的视频这能将其从数十万帧减少到数千帧在保留足够信息的前提下大幅降低负载。参数考量为什么是1 FPS我们做了实验对比0.5 FPS、1 FPS、2 FPS。0.5 FPS会丢失快速动作2 FPS则使后续处理成本翻倍且收益增加不明显。1 FPS在CASTLE数据集上取得了最佳性价比。命令示例ffmpeg -i input_video.mp4 -vf fps1 -q:v 2 keyframes/frame_%06d.jpg步骤2细粒度信息提取构建第一层目标检测使用DETA或GLIP这类开放词汇检测模型不仅能检测常规物体还能根据文本提示检测数据集中特定的物体类别。我们使用GLIP-Large模型输入分辨率设置为800x1333。动作识别与场景分类使用VideoMAE或TimeSformer预训练模型对短片段如16帧进行分类标签集融合了Kinetics、Something-Something等大型数据集并针对挑战赛数据进行了扩展。语音转文本若视频包含音频使用Whisper-large模型进行转录并将文本按时间戳与视频帧对齐。实体与关系抽取将检测到的物体、识别出的动作和转录的文本输入到一个基于BERT的关系联合抽取模型中输出结构化的(实体关系实体)三元组并附带时间戳。步骤3事件片段分割与摘要构建第二层操作我们采用无监督的时序变化点检测算法如Kernel Change Point Detection结合视觉特征来自VideoMAE的CLS token自动将视频切分成语义相对一致的段落。摘要生成对每个事件片段的所有帧特征进行平均池化得到一个片段级特征向量。同时将该片段内所有的实体、关系三元组和ASR文本输入给一个文本摘要模型如BART生成一段简短的文本描述如“两人在办公室讨论图纸其中一人指向屏幕”。这个文本描述也会被编码成向量与视觉特征向量拼接共同作为该事件片段的表征。步骤4叙事图构建构建第三层操作将第二层所有事件片段的特征向量构建一个全连接图节点是事件片段边的初始权重是片段特征向量的余弦相似度。使用图卷积网络GCN在这个图上运行2-3层GCN让节点事件片段聚合邻居信息。经过GCN平滑后的节点特征更能反映其在全局叙事中的角色。叙事链发现对GCN输出的节点特征进行聚类如DBSCAN同一簇内的事件片段被认为属于同一个叙事主题或子情节。然后按照时间顺序将同一簇内的事件片段连接起来形成叙事链。3.2 阶段二在线智能体推理离线构建完成后当一个新的查询问题Query到来时在线推理启动。步骤1问题解析与初始化使用一个文本编码器我们选用了Flan-T5-large将用户问题编码成向量Q_vec。智能体初始状态设置为已知问题Q_vec知识图谱指针位于根节点历史动作为空。步骤2决策循环智能体模型一个基于Transformer的小型策略网络接收当前状态输出一个动作概率分布。我们采用带基线的策略梯度方法进行训练。在推理时选择概率最高的动作执行。动作执行示例若动作是检索(”人物A和物体B同时出现的场景“)则将Q_vec与知识图谱各层索引进行相似度计算返回Top-K个相关节点可能是叙事链、事件片段或实体。若动作是精读(事件片段ID)则加载该片段对应的所有原始帧和细粒度三元组用一个大视觉语言模型如InternVL进行深度理解生成更丰富的描述。执行动作后环境即知识图谱和问题状态更新智能体进入下一个决策步。步骤3终止与答案生成当智能体选择推理/回答动作或达到最大步数我们设为20步时循环终止。此时智能体已经收集了一系列相关的证据片段和中间推理。我们将所有这些信息包括片段文本摘要、精读描述、实体关系与原始问题一起输入到一个强大的生成式视觉语言模型我们使用了GPT-4V的API但在最终提交版本中训练了一个较小的VLM作为替代让它综合所有信息生成最终的自然语言答案。踩坑实录在线推理的速度瓶颈。最初的版本每次精读动作都需要调用巨大的VLM导致单次推理耗时长达几十秒。优化方案是1对需要精读的片段预先用VLM生成好详细描述存入知识图谱的缓存中在线时直接读取2将策略网络做得非常轻量只有几百万参数确保决策本身不耗时。最终将平均响应时间控制在5秒以内。4. 方案优势分析与挑战赛中的实战表现我们的方案在CASTLE挑战赛中面对来自全球顶尖实验室的众多方案能脱颖而出拿到季军主要得益于以下几个方面的优势1. 卓越的长上下文处理能力传统的端到端模型即使使用稀疏注意力或记忆机制其有效上下文长度通常也有上限如1K或2K个token/帧。我们的方法通过分层知识图谱将长视频压缩成结构化的摘要信息。智能体无需“记住”每一帧只需学会高效“查阅”图谱。这使得我们理论上可以处理任意长度的视频只要离线构建过程能够完成。2. 强大的多跳推理与信息关联能力挑战赛的许多问题需要多跳推理例如“人物A在离开房间后去了哪里他拿走的那个工具最后被谁使用了”。传统方法可能难以关联“离开房间”和“使用工具”这两个在时间上相隔甚远的事件。我们的方法智能体可以执行一系列动作先检索“人物A离开房间”的事件从该事件中解析出“拿走工具X”再以“工具X”为线索检索后续所有涉及“工具X”的事件最后精读这些事件找到“被谁使用”的信息。知识图谱的实体链接功能让这种跨时空的关联变得直接。3. 计算效率高资源分配合理将计算密集型的基础模型分析目标检测、动作识别等放在离线阶段可以充分利用后台算力无需实时响应。在线阶段轻量级的智能体决策和高效的向量检索对计算资源要求很低。这种“离线重载在线轻量”的模式非常适合于实际部署。4. 可解释性强智能体的每一步决策检索什么、精读哪里都是可追溯的。最终答案生成时我们还可以要求VLM模型引用其依据的知识图谱节点ID。这为我们分析模型错误、理解其推理路径提供了极大便利不再是黑箱。在比赛中的具体表现与调优 在测试集上我们的方案在“时序推理”、“多视角关联”、“长程依赖理解”这几个子任务上得分显著高于基线模型。然而在“细粒度属性识别”如“衬衫是什么颜色”任务上初期表现不佳。原因是我们的第一层知识图谱在提取属性时不够精细。解决方案我们增加了专门的属性提取模块在目标检测后对每个检测框内的物体再用一个图像分类网络针对颜色、材质等属性微调进行二次分析并将属性作为实体的附加字段存入知识图谱。这一改进让该子任务的得分提升了约15%。5. 常见问题、调试技巧与未来展望在实际开发和比赛调试中我们遇到了无数问题以下是几个最具代表性的及其解决思路。问题一智能体陷入无效循环反复执行相同动作。现象在训练时智能体可能学会一直执行“跳转”或反复检索同一个无关片段而不去尝试回答。排查与解决检查奖励函数可能是中间奖励设置不当让智能体发现了一种“刷分”的漏洞。我们增加了对重复动作的惩罚并提高了“回答问题”这个最终动作的潜在收益。增加探索噪声在训练初期在策略网络输出动作时加入更多的随机性如更高的熵正则化系数鼓励探索。课程学习先从短的、简单的视频-问题对开始训练逐步过渡到长的、复杂的让智能体循序渐进地学习策略。问题二知识图谱检索精度高但召回率低导致智能体找不到关键证据。现象对于某些问题人工可以明显在视频中找到答案但智能体检索不到相关片段。排查与解决索引粒度问题事件片段分割可能不合理把关键信息切分到了两个片段。我们调整了变化点检测的灵敏度参数并尝试了多种分割算法最终采用了一种多尺度融合的方法同时生成粗、细两种粒度的事件片段都建立索引。特征表征问题事件片段的向量表征不够好。我们尝试将视觉特征、文本摘要特征、以及实体关系图的图嵌入特征进行多模态融合生成更强大的片段表征向量显著提升了检索召回率。查询扩展对原始问题使用大语言模型生成几个相关的、不同表述的查询语句同时进行检索然后取结果并集。问题三最终答案生成模型“胡言乱语”不忠实于检索到的证据。现象智能体找到了正确的证据片段但VLM在生成答案时忽略了部分证据或引入了幻觉。排查与解决改进提示词工程在给VLM的提示中明确指令“必须且仅能依据以下提供的信息回答问题”并将证据片段以清晰编号的列表形式给出。采用检索增强生成框架我们换用了类似RAG的架构将证据片段作为上下文与问题一起输入。并训练了一个小的“忠实度判别器”对生成的答案进行评分过滤掉与证据严重不符的答案。证据重排序不是简单地将所有检索到的证据扔给VLM而是让一个轻量级的相关性评分模型对证据进行重排序将最相关的放在上下文的最前面。关于未来改进的个人思考 这次项目让我深刻体会到“结构化”和“决策”是处理超长视频理解的两把钥匙。下一步我认为有几个方向值得深入知识图谱的动态更新目前图谱是离线静态构建的。能否让智能体在推理过程中发现新的重要关联并实时更新图谱这需要一套在线增量构建图谱的机制。多智能体协作是否可以设计多个具有不同专长的智能体一个擅长定位一个擅长关系推理一个擅长时序分析让它们通过通信协作来解决更复杂的问题与端到端模型的结合我们的方法模块多流程长。未来或许可以探索用端到端的方式隐式地学习类似“检索-精读”的策略同时保持可解释性。比如基于Transformer的模型能否通过特殊的注意力机制学会“跳读”和“回看”这套系统虽然是为竞赛设计但其思想——用结构化的外部记忆知识图谱来扩展模型的上下文能力用任务驱动的智能体来动态分配注意力——对于任何需要处理长序列、进行复杂推理的AI任务如长文档理解、多轮对话、代码仓库分析都有广泛的借鉴意义。它本质上是在探索如何让AI更高效、更可控地运用其计算资源这或许是通向更通用人工智能的一条务实路径。