UPSNet如何避免实例掩码重复MaskRemoval去重算法完整解析【免费下载链接】UPSNet项目地址: https://gitcode.com/gh_mirrors/up/UPSNetUPSNetUnified Panoptic Segmentation Network统一全景分割网络是 Uber 提出的 CVPR 2019 全景分割经典模型。它的实例分支会同时输出语义分割和多个实例掩码但同一像素可能同时被多个掩码覆盖导致预测结果自相矛盾。UPSNet 通过MaskRemoval 去重模块在推理阶段贪心地剔除重复实例掩码保证每个像素最终只归属于一个实例这是它输出合法全景分割结果的关键一步 。为什么全景分割必须做掩码去重全景分割Panoptic Segmentation要求把图像中的每个像素划分到唯一的一个区域并区分两类目标可数物体Things如汽车、行人需要实例级别的区分两只猫不能共用一个 ID不可数物体Stuff如天空、道路只需语义级别UPSNet 的实例掩码来自 Mask R-CNN 风格的检测头RPN 提出候选框 → RoI 分类 → 每个框回归一个 28×28 的小掩码。由于检测器天生会给出大量相互重叠的候选框一只猫可能被检出 5 个几乎重合的框如果直接把这些掩码都贴回原图就会出现一只猫身上叠了 5 层掩码的重复问题。去重必须在像素级 logits融合之前完成否则后续 softmax 竞争无从谈起。MaskRemoval 在推理流程中的位置UPSNet 的推理链路大致如下Backbone → FPN → RPN候选框 → RCNN分类/框回归 │ ├─→ FCN语义头stuff预测 └─→ MaskBranch实例掩码 → MaskROI挑选 → 【MaskRemoval去重】→ 融合输出去重发生在 resnet_upsnet.py 的推理分支中先由mask_roi_panoptic类别无关 NMS top-N 筛选选出一批实例框和对应掩码随后调用 mask_removal.py 中的MaskRemoval完成去重输出的keep_inds保留的实例下标和mask_logits全分辨率掩码能量图会送入SegTerm/MaskTerm与语义 logits 相加后经 softmax 得到最终的全景分割标签。其中掩码挑选阈值与去重阈值在 config.py 中配置例如实例分数阈值panoptic_score_thresh 0.6。MaskRemoval 去重算法的四个步骤整个算法非常精炼核心逻辑全部集中在 mask_removal.py 的forward函数中约第 50~87 行。它的思想类似 NMS但更精细——NMS 比较的是框的重叠MaskRemoval 比较的是像素掩码的重叠✅。步骤一按置信度贪心排序把所有实例按类别概率从高到低排序。置信度最高的框优先占地低分框再与它比较。这是典型的贪心策略先让最有把握的实例保留完整掩码。步骤二掩码上采样并二值化每个实例的原始掩码只有 28×28需要先cv2.resize到其对应检测框的真实尺寸再在 0 处二值化logit 0 记为前景得到像素级的掩码。同时把框裁剪到图像边界内防止越界。步骤三重叠比例判断去重核心这是整个算法的灵魂 算法维护一张分类别的已占像素图mask_image每个类别一张二值图只记录被保留掩码占据的像素。对当前掩码若掩码本身为空前景像素数为 0→ 直接丢弃计算当前掩码前景中落在同类别已占区域内的像素占比若该占比超过0.3即 30%→ 判定为重复掩码丢弃否则保留保留时把它的掩码累加进对应类别的mask_image占座成功。 注意这里只比较同类别实例。两只猫重叠 50% 不算重复它们本就该分开但猫和另一只猫重叠 30% 以上就会被去重——这正是全景分割对实例唯一性的要求。步骤四生成全分辨率掩码能量图所有保留实例的 logit 被写入一张[1, N_keep, H, W]的mask_energy张量未保留位置为 0。若全部被剔除则返回空张量并提前结束。最终返回keep_inds和mask_energy供下游融合。关键参数0.3 重叠阈值怎么理解MaskRemoval在 resnet_upsnet.py 中以fraction_threshold0.3实例化。这个 0.3 是一个折中阈值设置效果设得很小如 0.1激进去重可能误删真实重叠的不同实例如前景遮挡设得很大如 0.8保守去重大量重复框残留像素归属混乱0.3默认只清除明显是同一个物体的重复检测兼顾召回与精确由于比较发生在二值化后的前景像素上这个阈值实际上衡量的是新掩码有多少比例的面积已经在同类的某个实例里了非常直观。总结MaskRemoval 用不到 100 行代码优雅地解决了全景分割中的实例掩码重复问题贪心排序高置信度实例优先保留像素级比较比框级 NMS 更精细地判断是否同一个物体30% 重叠阈值简单而有效的重复判据同类别隔离不同实例互不误伤重叠的真实物体得以保留理解了 MaskRemoval你就掌握了 UPSNet 从实例检测走向严格全景分割的最后一块拼图 。想要亲手调试这个模块可以直接从 mask_removal.py 入手配合 resnet_upsnet.py 中的推理流程逐步阅读。【免费下载链接】UPSNet项目地址: https://gitcode.com/gh_mirrors/up/UPSNet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考