AAAI 2026 M²-CoFS 流形视角下的统一融合-分割模型 Breaking task boundaries via shared manifoldMIF 与 MIS本是上游与下游却因优化目标分歧长期各练各的M²-CoFS 把两张权重流形拼成一张让两个任务共用一套权重0.0核心信息题目Breaking Task Boundaries: A Unified Model for 3D Medical Image Fusion and Segmentation Guided by Manifold Perspective*译名突破任务边界流形视角下的3D医学图像融合和分割模型*会议AAAI 2026Oral作者Zeyu Wang、Jiayu Wang、Haiyu Song*单位大连民族大学计算机科学与工程学院代码https://github.com/Wangjiayu0512/M2-CoFS第一部分 MIF 和 MIS互相依赖但不能够一起工作在临床影像分析里3D医学图像融合(MIF)把多种模态的结构信息整合在一起而3D医学图像分割(MIS)则在体素层面进行精确地描绘病变部位。它们自然就形成了上下游关系融合给分割提供了更多的输入而分割又可以告诉融合哪些地方应该被保留。问题在于两者优化的目标方向是不同的。MIF关注的是全局互补的信息而MIS则关注局部边界以及细节上的构造。直接进行联合训练的时候梯度互相冲突参数被反复拉伸。RMR-Fusion 是一个有代表性的例子即共享编码器、双任务头以及线性求和损失。但是冲突并没有得到真正的解决性能上仍然存在明显的瓶颈。另外大多数MIF方法还只停留在二维切片上没有考虑到三维体数据层间连续性的问题这使得它们和三维分割方法之间的联系变得比较困难。第二部分 主线就是把任务专属权重逼近到统一权重M²-CoFS 不再追求一个从头到尾都用同一个损失函数来训练的联合损失而是把“得到一份可以同时服务于两个任务的统一权重”这件事情分成三步来实现并且逐步收敛。Stage I 得到每个任务所对应的高权重Stage II 用跨任务权重适配使得两个权重在权重空间里互相靠近Stage III 用一个轻量级 MLPWGN在两个流形之间隐式地创建出一个共享流形并从中抽取统一的权重。推理的时候输入一对多模态影像A、B通过共享编码器Φ、特征融合模块F、以及融合头ψ和分割头φ得到融合图像和分割掩码。整条链路中F的权重不再只属于某个任务而是由WGN产生的统一权重θ_U。第三部分 第一阶段就是把两个任务都练好了Stage I 地基。如果起点就不好那么后面的“逼近”、“统一”就成了空中楼阁。在该阶段MIF和MIS各自独立训练得到任务特有的权重θ_F和θ_S。编码器Φ是3D CNN和Swin Transformer的组合前者提取局部特征后者建立全局上下文模型得到高质量的多尺度特征。融合头 ψ 通过堆叠 3D CNN 来提高融合的质量分割头 φ 则借鉴了 Swin UNETR 的结构主要负责边界和纹理细节的刻画。STAGE I·优化目标两个任务各自最小化自己的损失得到两个任务专用的质量较高的权重。L_F 包含 L1 重建项和梯度保持项L_S 使用的是 Dice 损失。第四部分Stage II跨任务权重适配两套任务专属权重分布差别很大会使得Stage III难以建立一个有效的共享流形。因此中间要进行一步“拉近距离”。这一步骤的方法很简单把对方任务的预训练权重作为初始化在自己的任务上继续训练。MIF 使用 θ_S 作为 F_F 的初始化值进行后续训练得到 θ_(S→F)MIS 使用 θ_F 作为 F_S 的初始化值进行后续训练得到 θ_(F→S)。互相借用之后两条权重轨迹在权重空间里很接近。STAGE II 互相初始化两个互相用对方的权重作为起始点进行训练使得两条轨迹朝向相反的方向前进。但是跨任务适配也会产生一个老问题灾难性遗忘。因此本文引入Synaptic Intelligence(SI)作为正则约束在前一个任务中重要的权值在新的任务训练时会“少动一点”。STAGE II·SI 重要性正则高权重的任务被尽可能地保留下来在适配的过程中不会丢失原有的任务知识。第五部分第三步指导网络学习、隐式构造共享流形从权重空间转换为流形视角即使Stage II使两个权重互相接近但是它们仍然会对“先训练哪一个”很敏感先MIF后MIS和先MIS后MIF最后的结果是不一样的。这就是Stage III要解决的主要问题。作者主要的操作就是把视角提升到流形上面把MIF和MIS的权重空间看作两个高维流形目标是构建它们的共同流形并从中抽取一个任务顺序无关的一组统一权重θ_U。在高维空间中显式建模这张共享流形几乎是不可能的因此引入了一个轻量级的MLP——权重生成网络(WGN)用两个接近的权重作为输入来隐式地生成θ_U。STAGE III·WGN 隐含地产生出一个共同的权重把两个接近的权重组合成一个任务顺序无关的一组统一权重。WGN 的输出会被用作 F 的权重并且参与到两个任务的前向中去。使用流形距离来作为损失约束主要的训练难点就是如何使这张隐式的共享流形依然保持住两个原始流形的几何结构作者的回答是用流形距离来作为WGN的损失约束——把 θ_(F→S)、θ_(S→F) 和 θ_U 投影到同一个空间里然后用 KNN 图和 Dijkstra 近似的计算 θ_U 到两个流形采样点的距离。STAGE III 流形距离正则用KNN图来近似流形的局部结构用Dijkstra来近似流形上距离。约束的是相对的距离关系即只要相对关系相同流形的几何结构就可以保持不变。最后Stage III 的总的目的是把两个任务损失和流形约束放在一起STAGE III 联合损失WGN 和融合头、分割头一起被联合训练在每一轮前向的时候都会抽取θ_U。第六部分实验如何读融合、分割、消融三线实验在 BraTS19 和 MRBrains MRI 数据集上进行。建议按照三条证据链来阅读第一3D医学图像融合的质量第二3D医学图像分割的精度第三消融和可视化是否可以实现“三阶段流形约束”的设计。融合六个方面都比对方好对比BSAFusion、C²RF、EMMA、FILM、GIFNet、RMR-Fusion六个SOTA在Q_MI、Q_TE、Q_NICE、Q_G、MI、VIF_P六个指标上都取得了更好的结果。注意所有的2D方法都是用堆叠切片来得到3D的结果本文的方法直接把3D当成一个单位来处理更加重视层与层之间的连续性。分割Dice 和 HD95 综合上占优TransBTS、nnFormer、Swin UNETR、UNETR、3D UX-Net、RMR-Fusion 在 BraTS19 的 ET / WT / TC 和 MRBrainS 的 CSF / GM / WM 上的 Dice 和 HD95 综合上都优于其他方法。其中就包含了融合所带来多模态互补信息在帮分割的时候反过来分割出边界和纹理关注融合的人也越来越多了。消融三个阶段都是必须的消融的结果就直接和设计相关了不使用MIF或者MIS单独训练会降低去掉Stage II会使两个权重之间的差距变大性能也变差去掉Stage III即去掉WGN和流形约束之后下降最多去掉SI或者流形距离正则都会影响到最后的结果。三阶段并不是多余的每一阶段都是对之前阶段瓶颈的验证。第七部分 t-SNE、Loss 曲线以及骨干替换t-SNE 的三张图把三个阶段串起来了Stage I 中 MIF 和 MIS 的权重各自聚集成了两个明显的分组Stage II 之后两个分组互相靠近Stage III 时 WGN 输出位于两组之间共享的区域里说明它学会了组“任务顺序无关”的一组共同权重。Loss 曲线也表明了这一点Stage III 的联合训练比单任务训练要好一些早期收敛得比较快最后的损失也较小隐式的共享流形把两种梯度信息合并到同一个权重空间里并没有进行简单的取舍。值得留意的一个实验是骨干替换将默认分割骨干替换成UNETR、3DUX-Net、TransBTS、nnFormer本文所提出的三阶段策略都可以有效地提高Dice和HD95。也就是说这套方法不依赖于某种特定的网络结构而更像是一个通用的“联合优化范式”。第八部分 把任务边界从特征层面推到参数层面M²-CoFS 最值得学习的地方并不是又一个共享编码器也不是又一个多任务损失而是把“任务协同”这件事情完全翻译到权重空间里去。它整个的逻辑都是很合理的首先让两个任务各自练习好Stage I然后把两个权重互相靠近Stage II最后用一个轻量级网络在两个高维流形之间隐式地构造出一个共享流形并从中采样得到统一的权重Stage III。从更高的角度来考虑的话它也暗示出一个可以重复使用的多任务范式当两个任务的梯度自然地互相矛盾时把它们当作两张流形来寻找一个几何上一致的共享空间要比在损失层面调节权重要好。对于融合-检测、融合-配准以及更为广泛的多任务联合优化都有一定的启示意义。**把任务边界的推进从共享编码器变成统一权重其实就是在协同的过程中把层次从特征层面上升到参数层面。**这篇 AAAI Oral 让人感到非常震撼的地方就在于此。END往期推荐