这项由韩国大学、天主教大学及AIGEN Sciences联合开展的研究以预印本形式发布于2026年7月编号为arXiv:2607.04605感兴趣的读者可通过该编号查阅完整论文。当你用手机搜索穿蓝色外套的人站在红色跑车旁边这张照片时系统需要快速在数百万张图片中找到最匹配的那一张。这背后涉及一个核心问题计算机究竟是把整张图片当作一个整体来理解还是能细致地识别图中每一个局部细节这项研究正是围绕这个问题展开的。一、为什么图像检索不是一眼扫过去那么简单把图像检索的过程想象成图书馆里的查书工作。早期的方式是给每本书贴一个总结标签查书时就用关键词和标签对比找到最接近的就行。这种方式速度快但一旦你的查询非常具体——比如你要找一本封面左上角有棵橡树、右下角有一只猫、书名用红色字体印刷的书——仅凭一个总结标签就很难精确定位了。多向量视觉-语言检索Multi-vector Vision-Language Retrieval的出现就是为了解决这个细节定位难题。它不再只给图片贴一个总结标签而是把图片拆解成数百个乃至上千个局部小标签即视觉标记visual tokens每个小标签对应图片的某个小区域或某种局部特征。当你提出一个具体的文字查询时系统会把查询语句也拆成若干小片段然后用每个文字小片段去和图片里所有的小标签逐一比较找到匹配度最高的那个。这种方式叫做最大相似度晚期交互MaxSim late interaction它让检索系统能够捕捉到对象、属性、位置关系等细粒度的视觉证据。目前业界最具代表性的实现是ColPali和ColQwen2这两个系统。ColPali基于大型视觉-语言模型能为每张图片生成超过一千个局部视觉标记ColQwen2则建立在Qwen2-VL之上支持更灵活的图像表示方式。这两个系统在细粒度图像检索任务上表现出色但随之而来的问题也很棘手——每张图片存储上千个标记数百万张图片的索引会消耗巨大的存储空间而检索时还需要把每个查询标记和每张图片的所有视觉标记逐一比较计算量极为惊人。二、压缩视觉标记为什么说起来容易做起来难面对存储和计算的双重压力最直接的想法是把图片的视觉标记数量压缩下来从一千多个减少到几十个。这在技术上有两种主要思路一种是剪枝直接删掉一些认为不重要的标记另一种是合并把相似的标记聚合成一个代表性标记。然而这里有一个根本性的难题图片的哪部分重要完全取决于用户会问什么问题。同一张街头照片有人可能关心路边的咖啡馆招牌另一个人关心穿条纹衣服的行人还有人关心远处的红绿灯。在不知道未来查询的情况下贸然删除某些局部信息就可能让系统在面对相关查询时找不到对应的视觉证据。更棘手的是即使选择合并而非剪枝也存在一个隐患如果只是简单地把视觉上相似的标记合并在一起那么图片中两个外貌相似但实际上是不同对象的区域很可能被错误地融合成同一个代表性标记。比如一张图片里有两个都穿黑色外套的人纯粹基于外观相似性的合并算法可能会把这两个人的视觉信息混合在一起导致系统在接到左边那个戴帽子的男人这类精确查询时无法区分两者的差异。这个问题被研究者称为跨实例混合cross-instance mixing是细粒度视觉检索中的一个关键失效模式。三、SaMer的核心思路让压缩懂得尊重对象边界面对上述挑战研究团队提出了一个名为SaMerSemantic-aware Merging语义感知合并的框架。这个框架的核心理念是压缩视觉标记时不仅要考虑标记的外观相似性还要考虑空间位置更关键的是——要尊重图像中不同对象实例的边界避免把属于不同对象的视觉信息混合在一起。整个系统的工作流程可以分成四个环节彼此紧密衔接。第一步冻结的视觉编码器和语言编码器分别对图像和查询文本进行编码提取出各自的内部表示。第二步一个共享的投影层把图像和文本的表示统一映射到同一个向量空间使两者可以直接比较相似度。第三步图像侧的N个视觉标记被压缩成K个代表性标记其中K远小于N默认设置为64。第四步用这K个压缩后的代表性标记与查询标记进行MaxSim晚期交互完成检索评分。压缩的具体机制是SaMer的技术核心。每个视觉标记不仅携带自身的语义特征向量还有一个表示其在图像中位置的空间坐标。SaMer在衡量两个标记是否应该被合并在一起时同时考虑两个维度一是特征相似性——两个标记的语义向量是否接近二是空间连贯性——两个标记在图像中的位置是否相邻。用一个公式来描述这个距离距离等于1减去特征点积再加上γ乘以位置距离的平方其中γ是控制空间项强度的参数。特征项负责把语义相似的标记归为一组空间项则防止视觉相似但物理位置相距很远的区域被过度合并。在完成距离计算后SaMer并不像传统聚类那样硬性地把每个标记分配给某一个代表——而是采用软分配soft assignment的方式。每个标记对每个代表的贡献度通过一个基于温度参数的softmax函数来决定距离越小的代表获得越高的权重。最终每个代表性标记是所有分配给它的原始标记的加权平均并经过归一化处理。这种软分配的方式比硬分配保留了更多细粒度的信息实验中也验证了它优于均值聚合、中心点选取等其他合并变体。四、训练时的对象感知先验一个只在学习阶段发挥作用的小技巧SaMer最有趣的设计之一是它在训练阶段引入了一种对象感知合并先验object-aware merge prior但在实际使用时完全不需要。具体来说在训练过程中SaMer会使用图像的对象标注信息即图像中每个对象所在的矩形框bounding box。对于每个视觉标记系统根据它在图像中的空间坐标给它打上一个标签如果这个标记位于某个对象的框内就标记为该对象实例如果同时位于多个框内就归属于最小的那个框如果不在任何框内就标记为背景。有了这些标签SaMer就能估算出每个代表性标记当前包含了哪些对象实例的信息。具体做法是先用不传递梯度的硬分配算出每个代表主要由哪些标记构成再统计这些标记的对象标签分布。如果要把一个属于对象A的标记合并进一个主要由对象B的标记构成的代表这个操作就会受到一个惩罚penalty——惩罚大小等于1减去该对象标签在该代表中的占比换句话说跨实例的合并会获得更低的权重。这个惩罚项被加入到前面提到的距离计算公式中通过软分配的温度参数影响最终的合并结果。重要的是这个惩罚项不是一个单独的监督信号或辅助损失函数而是直接融入了合并权重的计算。梯度通过软分配权重流回到投影层让投影层学会产生在合并之后依然能有效保留对象级别语义区分性的特征表示。到了实际检索阶段SaMer完全抛弃对象标注信息只使用特征-空间联合距离进行软分配。这意味着它不需要额外的目标检测模型也不需要人工标注数据整个压缩过程在推理时是完全自动化和无标注的。对象感知的先验已经在训练过程中内化进了投影层的参数里。五、只更新一个投影层最小代价换取最大兼容性SaMer在适应阶段只更新图文共享投影层shared projection layer而视觉编码器和语言编码器全程保持冻结。这个设计选择背后有一个务实的考量。原始的ColPali或ColQwen2其投影层是在每张图片使用全部N个视觉标记的假设下训练的。当SaMer把标记数量压缩到K64时投影层输出的特征向量在经过合并操作后未必还能很好地支持MaxSim检索。因此需要用压缩后的K个代表性标记计算出的MaxSim评分来反向更新投影层的参数让它适应这种压缩后的工作模式。研究团队使用的是多正样本InfoNCE检索损失multi-positive InfoNCE loss——这是对比学习领域的经典损失函数。对于一个文字查询批次中所有与之匹配的正样本图片都应该获得高分而负样本图片获得低分。通过这个损失函数投影层会逐渐学会在合并操作之后合并出来的K个代表性标记依然能够有效地支撑MaxSim检索。整个适应过程在Flickr30K-Entities的训练集上进行共训练约1746步使用学习率2×10??、权重衰减1×10??、余弦学习率调度含10%的预热阶段在4块NVIDIA A100 80GB GPU上完成。视觉和语言编码器始终冻结因此计算开销相对可控。六、实验结果压缩掉93%的标记检索效果反而提升了研究团队在四个数据集上评估了SaMer的性能覆盖了自然图像检索、组合式图像检索和文档图像检索三种不同场景。Flickr30K是自然图像检索的标准基准也是SaMer适应训练所用的数据集因此属于域内评测。以ColPali为骨架SaMer将K64时的R1即检索结果中正确图像排在第一位的比例从原始ColPali的77.0%提升到了82.4%。这个提升不仅超过了未压缩的原始模型还超过了所有其他压缩基线方法。最强的对比压缩方法H-Pool一种不知道对象信息、只靠特征相似性进行池化的方法R1仅为73.7%SAP基于结构锚点的剪枝为68.3%HPC结合了量化和注意力引导剪枝更低只有54.0%。以ColQwen2为骨架时SaMer将R1从73.6%提升到79.3%同样优于所有对比方法。MSCOCO是一个域外评测基准SaMer没有在MSCOCO上做任何训练用来验证方法的泛化能力。ColPali骨架下SaMer将R1从47.4%提升到51.6%ColQwen2骨架下从43.3%提升到47.5%都显著优于H-Pool、SAP和HPC。ImageCoDe是一个专门测试细粒度区分能力的数据集——这里面的图片往往在视觉上极为相似只有某个细微的对象、属性或关系差异能区分正确答案和干扰项。ColPali骨架下SaMer将R1从5.4%提升到5.9%nDCG10从13.2提升到14.4。虽然绝对数值看起来不大但在这个高度具有挑战性的任务上能够在大幅压缩标记数量的同时还实现提升说明SaMer确实比其他方法更好地保留了细粒度的局部视觉证据。DocVQA是文档图像检索场景与自然图像检索有本质区别——文档中的关键信息往往是稀疏分布的文字和版式结构而不是对象和场景。研究团队坦诚地指出SaMer的设计针对的是自然图像中的对象感知压缩DocVQA实际上是一个超出SaMer设计范围的边界案例。在这个任务上SaMer的表现没有超过未压缩的原始ColPaliColPali全量标记的R1是51.0%SaMer微调后是45.7%但仍然优于同等压缩比例下的H-Pool、SAP和HPC等对比方法保持了一定竞争力。七、不只看检索分数还要看检索到的证据是否准确研究团队认为仅凭检索排名指标不足以全面评估压缩方法是否真正保留了对象级别的局部视觉证据。为此他们设计了三个专门用于评估定位质量的指标。BoxMass衡量的是与某个查询短语最相关的视觉激活是否集中在该短语对应的对象区域框内。计算方式是把激活图在目标框内的总值除以激活图的全局总值比值越高说明相关证据越集中在正确位置。RegionHit衡量的是弱定位能力——在不同激活阈值下高激活区域与目标框的交并比IoU是否超过0.05这个宽松门槛只要命中过就算成功综合多个阈值取平均。CoverageIoU则比RegionHit更严格它直接测量高激活区域与目标框的平均交并比衡量覆盖程度而不仅仅是有没有命中。在这三个指标上SaMer的表现与其他方法的差异十分显著。以ColPali为参照完整版ColPali使用全部1030个标记的BoxMass是51.8RegionHit是10.5CoverageIoU是2.1。训练无关的SaMer无微调已经把RegionHit大幅提升到62.8CoverageIoU提升到11.7这说明纯粹的特征-空间软合并本身就有助于让压缩后的表示在空间上更加集中、更接近正确的对象区域。经过投影层微调的SaMer进一步把BoxMass提升到54.2超过了完整ColPali的51.8RegionHit达到68.3CoverageIoU达到16.4。相比之下HPC的BoxMass只有30.3SAP是39.9H-Pool是41.4——都明显低于SaMer。这意味着SaMer不仅让高激活区域覆盖到了目标对象附近还把相关证据更紧密地集中在了正确的对象区域内部而不是散布在周围的背景或相邻对象上。八、存储空间和计算速度16倍的差距意味着什么在效率层面SaMer带来的改善同样十分具体。ColPali在默认设置下每张图片存储1030个视觉标记每个标记是128维的浮点向量FP16格式。存储一百万张图片的图像侧索引需要263.7GB的空间。使用SaMer压缩到K64后存储需求降至16.4GB压缩比为16.09倍。MaxSim计算量从36.87万亿次操作降至2.29万亿次也是约16倍的减少。在实际检索吞吐量上以Flickr30K的评测为例完整ColPali的每秒查询数QPS为625.5SaMer提升到2716.3大约是4.3倍的加速。在MSCOCO这个图片数量更多的数据集上完整ColPali的QPS仅为154.2因为比较的候选图片更多SaMer提升到1406.7加速约9.1倍。吞吐量的提升幅度没有与标记数量的压缩比完全同比例这是因为内存访问、批次处理等工程因素会影响实际速度但整体改善依然相当显著。ColQwen2本身标记数量就少于ColPaliFlickr30K下平均约238个MSCOCO下约127个所以SaMer带来的相对压缩比较小Flickr30K上约3.73倍MSCOCO上约1.99倍相应的吞吐量提升也在1.9到3.1倍之间。九、消融实验每个组件贡献了多少研究团队通过系统的消融实验验证了SaMer各个组件的贡献以避免整体有效但不知道哪个部分真正有用的疑问。只使用特征相似性进行合并不考虑空间位置不考虑对象感知先验的变体在Flickr30K上R1为80.7%MSCOCO上为49.8%。在此基础上加入空间连贯性约束即完整的特征-空间距离公式Flickr30K R1小幅变化到80.4%MSCOCO维持在49.8%变化几乎可以忽略不计。这说明空间项本身对检索质量的直接影响有限——它主要负责避免空间上相距很远的区域被过度合并但这种约束单独并不足以让压缩后的标记更好地保留对象级别的证据。真正起作用的是对象感知先验加入之后Flickr30K R1跳升到82.4%MSCOCO R1跳升到51.6%BoxMass从47.8提升到54.2CoverageIoU从13.1提升到16.4。这表明核心增益来自于合并时对对象实例边界的尊重而不单纯是空间平滑或者投影层微调的效果。为了进一步确认微调本身是不是主要原因研究团队还设计了一组受控实验让H-Pool、HPC、SAP这些对比压缩方法也在同样的条件下相同骨架、相同投影层微调、相同K64预算进行训练然后与SaMer比较。在这个完全同等的适应条件下SaMer在Flickr30K和MSCOCO上依然取得了最好的R1和nDCG10说明增益不能单纯归因于投影层微调SaMer的合并规则本身也贡献了独立的、不可替代的性能提升。此外研究团队还比较了合并与剪枝的差异随机剪枝和空间剪枝在无微调情况下Flickr30K R1分别只有68.6%和68.8%而SaMer无微调版本已经达到73.6%差距相当明显。加入微调后SaMer82.4%依然明显优于随机剪枝79.9%和空间剪枝79.5%。这验证了一个直觉上容易理解的结论剪枝相当于在不知道用户会问什么问题的情况下提前扔掉了一部分图像证据而合并把信息聚合到代表性标记中信息损失更少对于未来的查询更加鲁棒。说到底这项研究回答了一个很朴素但在工程实践中极为重要的问题当你需要大幅缩减图像检索系统的存储和计算成本时你的压缩策略应该遵循什么原则研究团队的答案是——压缩的目标不仅是减少标记数量更是保留那些未来查询可能依赖的对象级别视觉证据。一个不懂得尊重对象边界的压缩方法哪怕在工程上节省了存储空间也可能在不知不觉中让检索系统丧失了区分细节的能力。SaMer给出的解法简洁而有效用特征相似性加空间连贯性来组织合并用训练时的对象标注来约束跨实例混合用投影层微调来适配压缩后的工作状态用软分配来最大程度保留合并过程中的信息。在K64这个极度压缩的配置下它不仅没有让检索效果下滑反而在多个基准上超越了未压缩的原始模型同时把存储需求压缩了16倍有余。对于普通用户而言这项研究的实际意义可能体现在未来的图像搜索应用中更快速地响应精确的图像查询在手机或低功耗设备上也能运行高质量的图像检索大规模商业图像库的运营成本降低。感兴趣的读者可以通过arXiv编号2607.04605查阅完整论文研究团队也在GitHubdmis-lab/SaMer开放了代码。---QAQ1SaMer在压缩图像标记时为什么还需要用到对象标注框推理时不也没有标注框吗ASaMer用对象标注框的方式非常巧妙——它只在训练阶段用标注框来告诉模型不同对象的信息不应该混在一起通过调整合并权重来惩罚跨对象的融合操作。这个约束通过梯度更新慢慢把这种尊重对象边界的能力内化到投影层的参数里。到了实际使用时投影层已经学会了产生更适合对象级分离的特征不再需要任何标注框完全自动化运行。Q2SaMer把图像标记从一千多个压缩到64个为什么检索效果反而比未压缩时更好A这看起来违反直觉但背后有合理原因。原始的ColPali投影层是在使用全部标记的假设下训练的其特征表示并没有专门针对合并后仍然可区分这个目标优化。SaMer通过压缩感知的投影层微调让特征表示更适合在合并状态下支撑MaxSim检索。同时对象感知合并减少了跨实例的信息混淆让64个代表性标记能够更清晰地承载各自负责的对象区域证据从而在某些任务上超过使用全量冗余标记的原始模型。Q3SaMer和H-Pool、SAP这些方法的本质区别是什么AH-Pool是基于特征相似性进行固定预算的池化完全不考虑对象实例的区分SAP是从结构上修剪锚点区域的标记属于剪枝而非合并HPC则结合了量化和注意力引导的剪枝。SaMer的核心区别在于它在合并时引入了对象感知的约束主动防止不同对象实例的视觉信息被混合进同一个代表性标记从而让压缩后的标记集合在面对细粒度的对象、属性、关系查询时依然能找到对应的局部证据。