论文VoVNetV1: https://arxiv.org/pdf/1904.09730VoVNetV2: https://arxiv.org/pdf/1911.06667笔记如下abstractThis paper add a spatial attention-guided mask(SAG-Mask) branch to FCOS.this is the same vein with Mask R-CNNThis paper presents an improved backbone VoVNetV2.(1) residual connection -- allevating larger model optimization collapse(2) effective Squeeze-Excitation– dealing with the channel information loss of original SESpatial Attention-Guided Mask(SAG-Mask)we design a spatial attention-guided mask (SAG-Mask), as shown in Figure 2. Once features inside the predicted RoIs are extracted by RoI Align [9] with 14×14 resolution, those features are fed into four conv layers and spatial attention module (SAM) sequentially.VoVNetV2 backboneVoVNetv2 is improved from VoVNet by adding residual a connetion and the proposed effective Squeeze-and-Excitation attention module.One Shot Aggregation (OSA)Compare to VoVNetV1VoVNetV2通常指在 VoVNet 论文第二版或下游任务如 CenterNet2、CenterPoint 中广泛使用的升级版对 VoVNetV1 的核心改进主要解决了 V1 版本的两个致命痛点网络难以训练得更深以及通道特征自适应能力不足。具体来说VoVNetV2 在原有的 OSA一阶段聚合模块基础上引入了以下两项颠覆性的设计改进1. 引入残差连接Identity Residual Connection突破层数极限VoVNetV1 的痛点V1 虽然靠 Concat 拼接特征解决了 DenseNet 的显存问题但它本质上还是一个平铺的链式网络。当网络层数加深例如堆叠到 99 层、149 层时梯度在反向传播过程中依然会剧烈衰减。这导致 VoVNetV1 很难像 ResNet 那样无痛地扩展到上百层。VoVNetV2 的改进V2 在整个 OSA 模块的外部加上了一条恒等映射的残差跳连Identity Shortcut将模块的输入直接加Addition到最终的输出上。带来的增益完美解决梯度消失反向传播时梯度可以沿着残差通道无损地流向浅层使得网络能够平稳地训练到 VoV-99 甚至更深。继承两家之长模块内部用 Concat 保持特征的多样性模块外部用 Add 保证网络深度的拓展性。2. 引入改进的通道注意力eSE Module增强特征提取VoVNetV1 的痛点V1 把所有中间层的特征图简单地 Concat 在一起但这会导致一个问题——所有的特征通道被同等对待。实际上有些通道包含的关键信息多有些通道包含的噪声多网络缺乏辨别轻重缓急的能力。VoVNetV2 的改进引入了 eSEeffective Squeeze-and-Excitation模块。它是传统 SE 注意力机制的改良版。传统 SE 模块为了省算力会先用一个全连接层把通道数压缩FC-down再用一个全连接层放大FC-up。但这会导致通道间的信息丢失。eSE 模块V2 索性去掉了压缩通道的步骤直接用一个保持原通道大小的全连接层FC来学习通道权重。带来的增益避免了通道压缩带来的信息残缺用极少的计算量准确筛选出最有用的特征通道极大地增强了小目标和复杂背景下的感知精度。视觉对比OSA 模块的内部演变【VoVNetV1 的 OSA 模块】 输入 ── [Conv1] ── [Conv2] ── [Conv3] │ │ │ └───── [ Concat ] ──┘ │ [Conv 1x1] ─── 输出 ─────────────────────────────────────────────────────── 【VoVNetV2 的 OSA 模块】 输入 ─────────────────────────────────────────┐ (残差边) │ │ └─── [Conv1] ── [Conv2] ── [Conv3] │ │ │ │ │ └───── [ Concat ] ──┘ │ │ │ [Conv 1x1] │ │ │ [eSE 注意力] │ │ │ [ 结果 ] ────────────────── [ ⊕ 加法 ] ── 输出 改进效果总结改进维度VoVNetV1 VoVNetV2 网络最大深度难以做深通常在 39 层、57 层左右受限可轻松堆叠至 99 层以上如经典的 VoV-99梯度传播仅靠链式传播深层容易梯度弥散拥有残差捷径梯度回传极度顺畅通道权重筛选无所有提取到的特征通道均等对待拥有 eSE 模块可自适应放大重要特征、抑制噪声下游任务表现在轻量级检测任务表现尚可成为 3D 目标检测、大模型 Backbone 的性能怪兽Compare to ResNet101正是因为 V2 补齐了“深度”和“注意力”这两块短板VoV-99 才能在如今的 3D 感知和自动驾驶领域把传统的 ResNet101 乃至一些早期 Transformer 骨干网络按在地上摩擦。VoV-99特别是它的升级版 VoVNetV2-99比经典的 ResNet101 更受欢迎。 核心原因在于 VoV-99 彻底解决了传统网络在“多尺度特征表达”、“硬件计算效率GPU 吞吐量”与“显存占用”之间的矛盾。1. 架构本质OSA 模块带来的特征丰富度ResNet101残差结构使用跨层相加Element-wise Addition。虽然解决了梯度消失但由于是“加法”前几层的低级几何特征边缘、纹理会被后层的高级语义特征直接覆盖/稀释。VoV-99一阶段聚合结构 OSA源自 VoVNet (CVPRW 2019)它放弃了加法采用类似 DenseNet 的通道拼接Concat。OSAOne-Shot Aggregation将块内所有中间层的特征在最后一层一次性 Concat 聚合。这意味着它同时保留了低级、中级和高级特征信息多样性远超 ResNet101。2. 硬件友好更低的内存访问成本 (MAC)在工业落地尤其是车载 GPU/边缘芯片中算力利用率比理论计算量FLOPs更重要。DenseNet 的教训DenseNet 特征极其丰富但每一层都要 Concat 前面所有层导致中间特征图成倍膨胀带来极其恐怖的 内存访问成本MAC, Memory Access Cost在 GPU 上运行非常慢。VoV-99 的优化VoV-99 只在模块的最后一步进行一次性聚合大幅减少了不必要的中间显存读写。对比 ResNet101ResNet101 虽然跳跃连接很简单但由于层数深101层中间产生的碎片化激活张量较多。在具有相同精度表现的前提下VoV-99 能更充分地压榨 GPU 算力实现更高的吞吐量FPS和更好的能耗比。3. 多尺度与小目标检测能力更强感知模型如自动驾驶中的远端行人、障碍物检测对小目标和多尺度极为敏感。VoV-99 内部由于将不同感受野的特征图进行了通道级保留Concat天然形成了一种内置的“多尺度特征图”。ResNet101 随着网络加深感受野过大小目标的细节特征在加法和下采样过程中丢失严重必须依赖复杂的 FPN特征金字塔来补救。4. VoVNetV2 的最终绝杀残差 注意力很多感知模型用的其实是 VoVNetV2-99。它在第一代的基础上加入了两个关键改进身份残差连接Identity Residual Connection在 OSA 模块外部加了类似 ResNet 的大残差跳连解决了原版 VoVNet 很难训练到 99 层以上深度的缺陷。有效通道注意力eSE Module在特征输出前加上了改进的 Squeeze-and-ExcitationSE模块去掉了传统 SE 导致信息丢失的中间全连接层进一步增强了重要通道的特征使得通道特征捕获能力完胜 ResNet101。 核心总结看板特性维度ResNet101 VoV-99 (VoVNetV2) 特征融合方式跨层相加元素级 Addition信息易被稀释最后一层一次性拼接Channel Concat信息保留完整小目标感知较弱深层缺少低级几何信息极强天然具备多尺度多样性特征硬件吞吐 (FPS)中等受限于深层串行结构高MAC 内存访问优化好GPU 满载率高显存与功耗显存占用中等功耗一般显存效率极高能耗比显著优于传统网络一句话结论ResNet101 是通用的万金油但 VoV-99 是专门为 GPU 密集型“目标检测与分割”任务量身定制在相同的硬件上跑出了比 ResNet101 更高的精度和更快的速度。