这项由韩国首尔Ebenworks Systems独立完成的研究以预印本形式于2026年7月3日在arXiv上公开编号为arXiv:2607.03068v1研究领域属于计算机视觉中的半监督语义分割。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。每当我们浏览手机相册时手机里的AI会自动识别出照片里哪里是天空、哪里是人、哪里是建筑物——这种让计算机看懂图片中每一个像素属于什么类别的能力叫做语义分割。听起来很厉害但它背后有一个巨大的烦恼训练这种AI需要人工给每张图片的每个像素打上标签就像给一幅超级精细的填色画的每个格子都标注颜色名称。据研究者引用的数据仅仅标注一张城市街道照片就需要大约1.5小时的人工劳动。正是因为这个巨大的成本研究者们发展出了半监督学习的思路——只用少量有人工标注的图片再配上大量没有标注的图片让AI自己学。具体方法是让AI先用有标注的图片打好基础然后对没有标注的图片猜测标签这些猜测出来的标签被称为伪标签pseudo-labels。问题来了AI猜错的伪标签会反过来污染它自己的学习就像一个学生抄了错误的答案后来又靠那份答案复习越学越歪。过去十年间无数研究者都在思考同一个问题应该相信AI猜测的哪些伪标签主流的解决方案是设置一个置信度门槛——只有当AI对自己的猜测非常确定比如超过95%的把握才把这个猜测当作真实标签来用。这就像老师批改作业时规定只有学生在答案旁边写着我非常确定的答案才会被计入成绩。然而这篇论文的核心洞察是在最新一代超强AI基础模型的加持下这个问题的瓶颈已经悄悄转移了。当研究者使用Meta公司开发的DINOv2视觉基础模型作为教师时在严格的95%置信度门槛下保留下来的伪标签已经有98%是正确的。也就是说过滤伪标签这件事已经做得相当好了。剩下的提升空间藏在另一个地方AI内部的理解空间是否把同一类别的像素聚集在一起。这篇研究提出的方法叫做PixCon就是专门为了解决这个新瓶颈而设计的。一、为什么提升过滤器已经不够用了以超市收银台为比喻来理解这个问题。旧时代的研究者相当于在收银台前安装了一道检查闸把质量差的商品错误伪标签拦截掉。这个工作在过去非常重要因为那时的AI教师经常猜错。但当教师变得极其强大——错误率只有2%——检查闸的价值就大幅下降了。真正能让超市运营更好的是重新规划货架布局把同类商品摆放在一起方便顾客查找。PixCon的研究者用嵌入空间来描述AI的内部表示空间这个空间里每个像素都被映射成一个抽象的点理想状态下同类像素应该紧密聚集不同类像素应该相互远离。对比学习contrastive learning是一种训练技巧专门用来推动这种聚集效果把同类的像素点互相拉近把不同类的像素点互相推远就像磁铁的同极相斥异极相吸。此前也有方法比如ReCo和U2PL尝试用对比学习来改善这个内部空间它们的做法是维护一个记忆银行——把大量像素的特征存储起来作为学习时的参考样本。问题在于这些方法填充记忆银行的方式仍然是靠置信度过滤只要AI对某个伪标签的把握超过某个阈值就把它存入银行。这就意味着即便只有2%的概率记忆银行里也会混入一些被错误分类的像素——一个实际上是猫的像素被自信地误认为是沙发存入了沙发的记忆槽。当后续训练用这个记忆来拉近沙发像素时真正的沙发像素被往猫的方向拉了一下方向搞错了。PixCon把这个污染问题彻底切断方法出乎意料地简单记忆银行只接受两类像素——首先这个像素必须来自有人工真实标注的图片不是AI猜测的伪标签其次当前AI模型对这个像素的预测必须和真实标签吻合。满足这两个条件的像素才能进入记忆银行。研究者把这种保证称为零污染率用符号ρF0表示。二、从数学角度理解为什么污染有害为了更严谨地说明污染的代价研究者做了一个梯度分析梯度可以理解为AI每次学习时调整自己的方向和力度。把训练过程想象成AI在一片山地上寻找最低谷每次前进一步都需要知道该往哪个方向走。对比学习的作用就是给出方向指引把自己往同类像素的方向靠近离不同类像素远一点。如果记忆银行是纯净的这个方向指引就是准确的。但如果记忆银行里混入了几个错误分类的像素比如被标成沙发的猫AI就会收到两个方向的指引一个朝向真正的沙发一个朝向猫。两个力叠加AI实际前进的方向被偏转了没能走到最优位置。研究者推导出这个偏转力量的大小与污染率ρF的关系大约是ρF除以1减去ρF。当ρF很小时这个干扰项很小但当污染率上升时干扰会迅速放大。这个分析的关键意义在于当ρF精确等于零时干扰项恒等于零指引方向是完全纯净的。PixCon的零污染保证在数学上直接消除了这个干扰项。研究者还特别强调他们没有假设污染率有多大而是实际去测量了在较为容易的Pascal VOC数据集的1/8分割设置下污染率只有0.018约1.8%在更难的ADE20K数据集下污染率升至0.106约10.6%。这个测量很关键因为它告诉我们在强大基础模型下零污染保证移除的噪声其实很有限真正带来准确率提升的是另一个机制。三、PixCon的两个作用保证与提升PixCon的只收有标注且已被正确分类的像素这个规则实际上同时做了两件不同的事情研究者明确地把它们区分开来。第一件事是标注条件。只有有人工真实标签的像素才能入库而不是AI猜测的伪标签。这直接把污染率降到零——因为有真实标签的像素永远不会是错误分类的它有正确答案作为保证。这是零污染保证它的价值更多体现在健壮性上即使未来换用更弱的教师模型即使污染率会升高PixCon也不受影响。第二件事是已被正确分类条件。这个条件过滤掉了虽然有真实标签、但AI目前还没学会正确分类的像素。把这些混乱像素排除在外记忆银行里只留下AI已经理解得很好的像素。这些像素的特征在内部空间中位置已经很准确用它们来拉近同类新像素提供的方向指引质量更高。这是真正的信号增强是PixCon实际带来准确率提升的核心机制。一个消融实验ablation即故意关掉某个部分观察效果的实验验证了这两件事情的关系在Pascal数据集上使用零污染的PixCon银行和使用置信度过滤的传统银行准确率几乎相同差距在0.02个百分点以内远小于随机误差范围。这印证了研究者的分析在污染率只有1.8%的条件下去除污染对准确率影响很小真正起作用的是正确性条件对信号质量的提升。四、PixCon的具体设计它长什么样从工程实现的角度来看PixCon建立在UniMatch V2这个已有的强大框架之上。可以把UniMatch V2想象成一套完整的学习系统它有一个教师网络和一个学生网络教师给未标注图片打伪标签学生努力学会在各种扰动下依然做出正确预测。PixCon在这个系统上加了一条额外的对比学习分支专门负责整理内部空间。具体来说PixCon在编码器-解码器之后增加了一个极轻量的投影头两个1×1的卷积层可以理解为对特征做一次简单的线性变换把每个像素的特征映射到一个256维的标准化向量空间。这个投影头在推断实际使用时会被丢弃不增加任何部署成本。记忆银行是每个类别一个独立的队列每个队列最多存256个像素的特征向量。每次处理一批有标注的图片时程序会检查哪些像素同时满足有真实标签和预测正确这两个条件从中按类别均衡地抽取最多64个像素为了防止常见类别占据所有配额将它们的特征存入对应类别的队列同时用它们来计算对比损失。队列采用先进先出的策略旧的特征会被新的替换保持银行内容的新鲜度。对比损失采用的是有监督InfoNCE形式信息噪声对比估计一种常用的对比学习损失函数对于一个锚点像素从银行里找到所有同类别的像素作为正样本其余类别的像素作为负样本训练目标是让锚点更靠近正样本、远离负样本。每次迭代最多使用1024个锚点控制计算量。整个训练目标是把三部分损失加在一起有监督交叉熵损失对有标注图片确保预测正确、一致性损失对无标注图片确保在各种扰动下预测稳定、以及对比损失权重系数λ0.1。五、实验结果在三个测试场景上的表现研究者在三个有代表性的数据集上做了测试覆盖了从简单到困难的不同场景。Pascal VOC 2012是计算机视觉领域的经典测试集包含21个类别飞机、自行车、猫、椅子等总共约一万张图片。在只用1/8的图片有标注的设置下PixCon在三个不同随机种子的实验中均优于基线方法每个种子大约提升0.2个百分点的mIoU平均交叉并集衡量分割准确率的指标三个种子的平均结果是87.90恰好达到了UniMatch V2论文中公布的官方数字。研究者特别指出他们自己复现的UniMatch V2基线由于计算资源限制未达到原论文的完整训练预算所以三个种子的平均值的提升0.89一部分来自更稳定的训练方差从0.73降至0.26真正可靠的效果是每个种子约0.2的稳定提升。在1/16设置下提升为0.39在1/4设置下两者基本持平。Cityscapes是城市街景数据集包含19个类别是自动驾驶研究的重要基准类别之间的不平衡程度远高于Pascal差异约360倍。在1/16和1/8的设置下PixCon和基线几乎持平差距在±0.08以内处于单次实验的随机误差范围之内。ADE20K是最具挑战性的场景包含150个类别类别不平衡程度高达800倍。在1/8设置下PixCon得到49.23基线是49.10差距仅0.13同样属于持平。这些结果的整体叙述是PixCon在最容易测出效果的Pascal 1/8上有稳定可靠的提升在其他场景上不比基线差实现了无坏情况的特性同时不增加任何推断阶段的计算成本。六、为什么在更难的数据集上没有更大的提升这一点研究者做了坦诚的讨论。Cityscapes和ADE20K的污染率测量值以ADE20K的0.106为例比Pascal更高按理说零污染保证应该更有价值才对但实际上并没有体现在准确率差异上。研究者给出的解释是在Pascal 1/8这个设置下记忆银行能比较快地被高质量的干净像素填满对比信号的质量提升效果明显。而在ADE20K这种150类别、样本极度不均衡的场景部分罕见类别的干净像素本来就很少记忆银行填充较慢对比信号的影响相对减弱。即便如此研究者测量了ADE20K训练集上的银行覆盖率150个类别中148个都能达到256个干净样本的容量上限最少的类别也有28个没有完全空白的类别。更根本的原因可能是在更难的场景中整体准确率本身更低ADE20K的49%对比Pascal的88%影响准确率的因素更多样对比学习带来的边际贡献被其他因素稀释了。研究者也坦承要真正验证零污染保证在高污染率场景的价值需要专门设计一个高污染率的实验比如用更弱的基础模型或者故意往伪标签里注入噪声这是他们列出的未来工作方向。七、那些没成功的尝试自适应阈值为什么失败了在提出PixCon之前研究者也尝试了另一个看起来很合理的方向给每个类别设置独立的置信度阈值而不是对所有类别都用同一个95%的门槛。这个想法的出发点是稀有类别比如图片中很少出现的类别的AI置信度天然偏低用统一的高门槛会把大量稀有类别的伪标签过滤掉导致稀有类别学习不足。研究者设计了一套相当精细的自适应阈值机制用Hoeffding不等式一种统计工具估计每个类别的伪标签错误率上界再用稀有度权重降低罕见类别的门槛还加了一个防止阈值无限下降的自适应下限。结果是失败的。每种自适应变体都呈现出同样的模式早期准确率上升随后快速下滑最终被严格的全局95%阈值大幅超越。原因在于强大的DINOv2基础模型对稀有类别的置信度低不仅是因为学得少更是因为它本来就对那些类别确实不那么确定——强行降低阈值引入了更多错误伪标签反而帮了倒忙。这个负面结果本身很有价值它证明在基础模型时代过滤更多不是答案直接转向内部空间的整理才是正确方向。八、边界上的提升它改善的不只是容易的地方评估一个分割方法有一个常见的担忧它是不是只在物体中心这种简单区域做得更好而在物体边缘这种困难区域没有提升研究者专门做了一个边界-内部分析。他们把验证集的每张图片分成两类像素距离类别边界3个像素以内的边界像素以及其他内部像素。结果是在边界像素上PixCon比基线减少的错误率是内部像素的大约两倍。换句话说PixCon的提升恰恰集中在更难、更重要的边界区域而不是只在已经做得很好的内部区域锦上添花。这与对比学习能让相近但类别不同的像素相互分离的理论预期相符。从定性的图像对比来看基线方法的典型错误是部件级类别混淆——一个人的某个部分被识别成椅子一只猫的某个部位被识别成沙发一盆植物被识别成杂乱的多类别混合体。PixCon在这些场景中几乎都能给出一个单一、连贯、正确标注的色块取代了基线方法的杂乱分割。九、未来还有哪些问题没有解决研究者在论文中非常坦诚地列出了尚未完成的验证工作。最重要的一项是入库规则分解实验PixCon同时满足了有真实标签和预测正确两个条件但这两个条件各自贡献了多少效果目前还没有被独立验证。理论分析指出前者主要带来零污染保证后者主要带来信号质量提升但一个真正严格的实验应该有三组对照只满足有真实标签的银行、只满足预测正确的银行、两者都满足的PixCon银行。这个实验还没有做。其次是高污染率场景的验证。ADE20K的测量污染率是10.6%但干净银行和置信度银行在这个场景下仍然持平。要真正测试零污染保证的价值需要污染率明显高于10%的场景比如使用ResNet这类更弱的基础模型或者人为给教师注入噪声。这个实验也没有做。第三是多次随机实验。目前Cityscapes和ADE20K的结果都是单次实验而单次实验在接近准确率上限时受随机因素影响较大。研究者用Pascal 1/8上三次实验方差的对比0.73降至0.26说明了这个问题建议在这个接近上限的领域应该把多次实验作为标准。归根结底这篇研究做了一件很特别的事它不仅提出了一个方法还诚实地分析了这个方法到底在哪里有效、在哪里只是打了个平手、为什么有效以及哪些主张还需要进一步验证。对于一篇仍在探索边界的研究来说这种透明度本身就是一种贡献。PixCon的核心信息是当AI的基础能力已经相当强大时继续在过滤哪些答案上做文章越来越像在雕琢一枚已经很圆的石头。更有价值的工作是整理AI内部的表示空间让同类事物真正归在一起。一个只有真实标注且已被正确理解的像素才能进入的记忆银行在不增加任何部署成本的前提下为AI提供了更纯净的方向指引。这在Pascal数据集上带来了稳定的小幅提升在其他场景上保持了不劣于基线的表现理论上在基础模型变弱、污染率升高时会提供更强的保护——尽管这最后一点还等待着实验的验证。对于普通人来说这项研究可能意味着手机里的AI更准确地帮你框出照片里的人物、识别出画面里的各个物体或者自动驾驶系统更准确地分辨道路上的行人和障碍物。每一个百分点的mIoU提升在现实应用中都对应着更少的误判和更可靠的表现。当数据标注的成本仍然高昂时让AI用更少的标注数据学得更好意义远不止于学术上的数字游戏。---QAQ1PixCon和ReCo、U2PL这些老方法比到底哪里不同A核心差别在于记忆银行的入场资格。ReCo和U2PL靠置信度过滤只要AI对某个伪标签足够有把握就存入银行但有把握不等于正确所以银行里会混入少量被自信地猜错的像素。PixCon的规则更严只收有人工真实标签、并且AI目前已经预测正确的像素。这两个条件同时满足在数学上保证了零污染率银行里绝对不会有错误分类的像素。代价是可用的像素少一些、银行更新慢一些但信号质量更高。Q2PixCon在ADE20K这种150类别的复杂场景上为什么没有显著提升A实测结果是PixCon与基线持平差距0.13属于随机误差范围。原因有两方面一是ADE20K的污染率10.6%虽然比Pascal高但仍不够高到让零污染保证产生可见的准确率差异二是在150类、极度不均衡的场景里影响准确率的因素更多对比学习带来的边际贡献被稀释了。研究者也指出要真正验证高污染场景的表现需要专门设计实验这是未完成的未来工作。Q3PixCon训练时比普通方法慢多少推断时会不会更慢A推断时完全没有额外成本。PixCon在训练结束后会把那个小投影头丢弃实际部署时和普通模型没有任何区别。训练时的额外开销也很小只需对有标注图片额外做一次投影头前向传播以及针对最多1024个锚点的InfoNCE计算还有银行的入队操作不传播梯度。记忆银行本身只占约1.4MB内存以Pascal的21类为例完全可以忽略。研究者表示两种方法的训练时间几乎相同但没有给出精确的百分比数字。