AAAI 2026 | Patch Mamba：像素级 Patch 扫描的 Mamba 模块，暗光细节重建无下采样损失！
论文: Beyond Illumination: Fine-Grained Detail Preservation in Extreme Dark Image Restoration作者: Tongshun Zhang, Pingping Liu, Zixuan Zhong, Zijian Zhang, Qiuzhan Zhou发表: AAAI 2026论文链接: https://arxiv.org/abs/2508.03336代码链接: https://github.com/bywlzts/RFGM一、引言在极度暗光条件下拍摄的图像，往往伴随着严重的结构信息丢失和噪声污染，现有的暗光增强方法大多关注全局亮度映射，而忽略了精细细节的保留。近年来 Mamba（状态空间模型）以其线性复杂度在暗光图像恢复中展现出巨大潜力，但现有 Mamba 方案存在两个关键问题：一是通过固定扫描规则将 2D 图像展开为 1D 序列，导致空间距离较远的相关 Token 建模能力弱；二是为了处理高分辨率特征，不得不引入下采样，导致微观细节丢失。针对这些问题，Patch Mamba模块通过创新的块级（Patch-level）扫描策略，在不进行任何下采样的情况下，实现像素级相关性的精细建模，从根源上解决暗光增强中的细节保留难题。二、核心动机现有 Mamba 方法（如 Wave-Mamba、RetinexMamba）采用固定方向扫描策略展开 2D 特征图，这带来两大致命缺陷：长距离衰减：因果建模机制下，距离远的 Token 间关联被严重削弱计算冗余：多方向固定扫描策略引入大量冗余计算此外，大多数方法依赖编码器-解码器结构来增强空间特征表达，但下采样操作不可避免地丢失了关键的像素级细节信息——这在对细节极度敏感的暗光恢复任务中是不可接受的。Patch Mamba 的解决思路：不进行下采样，而是将特征图划分为非重叠的 Patch，沿通道维度堆叠后送入 Mamba 进行扫描。这样既保留了完整的空间分辨率，又通过分块机制大幅降低了扫描维度，一举两得！三、方法3.1 模块整体设计Patch Mamba 的整体架构如下图所示，它作为双阶段框架的第二阶段空间域分支，专注于精细细节重建。图 1：整体框架图。Patch Mamba 位于第二阶段空间域，负责像素级细节增强Patch Mamba 的前向流程如下：输入图像通过init_ccnv（3→C3\to C3→C卷积）提取浅层特征特征图通过ImageBlockProcessor划分为(n,m)(n,m)(n,m)个非重叠 Patch，沿通道维度拼接拼接后的特征经1×11\times 11×1卷积和 LayerNorm 归一化通过多层 SS2D6（六方向选择性扫描）+ FeedForward 进行特征建模通过ImageBlockProcessor将 Patch 还原为完整特征图输出卷积恢复至 3 通道，与输入残差连接3.2 Patch SS2D：六方向选择性扫描Patch Mamba 的核心在于Patch SS2D（Selective Scan 2D）—— 六方向（水平、垂直、对角及其反向）的选择性扫描机制。给定输入特征图F∈RH×W×C\mathbf{F}\in\mathbb{R}^{H\times W\times C}F∈RH×W×C，首先均匀划分为(n,m)(n,m)(n,m)个非重叠 PatchPi,j∈Rh×w×C\mathbf{P}_{i,j}\in\mathbb{R}^{h\times w\times C}Pi,j∈Rh×w×C，其中h=H/n, w=W/mh=H/n,\; w=W/mh=H/n,w=W/m。然后将这些 Patch 沿通道维度堆叠为Rh×w×n⋅m⋅C\mathbb{R}^{h\times w\times n\cdot m\cdot C}Rh×w×n⋅m⋅C：Fstacked=Concat(P1,1,P1,2,…,Pn,m),dim=1 \mathbf{F}_{\text{stacked}} = \text{Concat}(\mathbf{P}_{1,1},\mathbf{P}_{1,2},\dots,\mathbf{P}_{n,m}),\quad \text{dim}=1Fstacked=Concat(P1,1,P1,2,…,Pn,m),dim=1堆叠后的特征在h×wh\times wh×w的显著缩小空间上进行六方向扫描：Y=SS2D6(Fstacked) \mathbf{Y} = \text{SS2D}_6(\mathbf{F}_{\text{stacked}})
