做图像分类的人应该都见过DenseNet这个名字。作为CNN架构中的常青树它在很多任务里都是默认的反超基线。第一次看DenseNet的结构图时我脑子里冒出的第一个问题是把每一层都和之前所有层连起来参数不会爆炸吗直到亲手实现过、训练过、在几个项目里把它和小数据集搭配在一起之后才慢慢搞明白它到底为什么有效又有什么让人头疼的代价。这篇文章不聊复杂的论文推导只讲三件事DenseNet的发明动机和结构细节从零实现时需要的代码和参数直觉以及我在实际使用中踩过的坑比如显存爆炸、BN失效、微调翻车。如果你是第一次接触CNN架构看完可以自己写一个能跑的DenseNet如果你已经用过它那第5节的显存优化和超参设置应该值得一看。1. 为什么需要DenseNet梯度消失问题的另类解法1.1 网络越深第一层背后的梯度越稀薄训练深层神经网络最头疼的问题不是网络不够聪明而是梯度传不回去。反向传播的时候梯度要逐层乘以这一层权重矩阵的导数。正常情况下这些数值都小于1一旦网络堆到几十层前面几层的梯度就会被反复相乘消磨到几乎为0。这时候网络虽然在深度上加了很多层但浅层几乎学不到东西真正在干活的只有最后那几层。这个现象在卷积网络上尤其明显。VGG那种纯堆卷积的网络做到19层就已经非常难训练必须精心调初始化、调学习率否则训练曲线要么直接发散要么前几层的卷积核永远保持随机噪声状态。大家天天说深度学习但深层网络前面的层根本深不下去这本质上是个优化问题不是表达力问题。1.2 ResNet的解决思路与它的保留缺陷ResNet给出的方案是跳连接把输入x直接加到这一层输出上形成残差结构。梯度可以从最后的损失函数一路沿着shortcut传回前面避免了每一层都要乘一遍小权重导数的困境。这个手段极其有效ResNet之后百层网络成了标配。但我后来在某个项目里做激活图可视化发现ResNet有个不太被注意到的冗余不同block学到的特征有不少是重复的。因为残差结构是旧特征新特征后面的层依然会重新提取一些和前面层差不多的边缘、纹理性特征。你可以把ResNet理解成每个人都在记笔记后面的人虽然也会参考前面的笔记但还是要重新抄一遍重点。这个现象不代表ResNet不行只是说明它解决梯度问题的思路是绕路而不是让信息本身被充分利用。那么问题来了能不能让每一层都直接看到前面所有层的信息而不是只看到上一层的输出1.3 DenseNet的回答让信息在所有层之间直接流动DenseNet的核心逻辑只有一句话在通道维度上把这一层之前的所有特征图全部拼接起来作为这一层的输入。也就是说第L层看到的不是上一层传下来的特征而是第1层到第L-1层的完整特征集合。这样做的好处有两个方面。第一梯度可以通过无数条短路直接到达浅层前面的层再也不会因为梯度稀释而学不到东西。第二特征被反复利用后面的层不需要重新发明一遍前面已经检测过的边缘和纹理只需要在已有特征基础上做出自己的新判断从而大大减少参数冗余。这里的密集连接经常被误解成所有层之间做加权求和其实不是。DenseNet做的是torch.cat([x, out], dim1)纯粹把新旧特征图拼在一起然后交给卷积去自动提取。因为每一层新增的特征图数量很小整体参数量反而比同样深度的ResNet更少。2. DenseNet的内部结构拆解Dense Block与Transition层2.1 一次典型的Dense Layer操作流程DenseNet不会真的让120层网络里的每一层都和前面119层直接相连而是把网络切成几个Dense Block在Block内部做密集连接Block之间用Transition层做下采样和通道压缩。理解这个结构是理解DenseNet的起点。一个标准的Dense Layer流程是这样的先过BatchNorm再过ReLU然后过一个1x1卷积再过BatchNorm和ReLU最后过3x3卷积。1x1卷积的输出通道通常是growth rate的4倍所以它也被叫做bottleneck层。3x3卷积输出growth rate个新特征图。做完这些之后把输入和输出在通道维上拼接起来得到下一层输入。为什么非要在3x3卷积之前加一个1x1卷积因为Block内部通道数会随层数线性增长如果不先压缩一下3x3卷积的输入通道数会很快变成几百甚至上千计算量会彻底失控。1x1卷积在数学上等价于对每个像素做一次全连接变换计算量很小却能大幅减少后续3x3卷积的输入维度。2.2 Growth Rate参数通道增长的步长Growth Rate通常用k表示是DenseNet里最重要的超参数。每个Dense Layer只输出k个新特征图而不是像普通卷积那样动辄64、128个。论文里常用的k是32也见过k48的设置。你可以把它理解为每一层给整个网络贡献的新知识量。k的大小直接影响一个Block内通道增长速度。假设Block的初始输入通道是c0Block内共有L个Dense Layer那么最后一层的输入通道数就是c0 k*(L-1)。举个例子c064k32L24那么最后一层输入的通道数是64 32*23 800。这个数字还不算bottleneck里的4倍放大所以没有1x1卷积这个Block根本没法跑。在ImageNet上常见的DenseNet变体都是k32因为k越大参数和计算量增长越快但精度提升会迅速饱和。我做过的实验也验证了这一点把k从32改成48在CIFAR-10上的精度只涨了不到0.3%参数量却涨了接近一倍性价比很低。2.3 Transition层的压缩系数每个Dense Block之间不是直接拼接的中间会插一个Transition层作用有两个降低特征图的分辨率同时压缩通道数。标准Transition是BN - 1x1卷积 - 2x2平均池化1x1卷积把通道数乘以一个压缩系数θ后输出。论文里θ默认取0.5也就是通道数减半这种加上了bottleneck和compression的版本叫DenseNet-BC。实际使用中几乎所有人都会用DenseNet-BC因为压缩带来的参数下降很明显而精度基本不掉。原因是DenseNet本身存在大量冗余的连接压缩一部分过渡特征其实起到了类似正则化的作用。下表是我常用的几个DenseNet变体配置层数分配是每个Dense Block包含的Dense Layer数量网络变体Block层数配置Growth Rate参数量约DenseNet-1216, 12, 24, 16328MDenseNet-1696, 12, 32, 323214MDenseNet-2016, 12, 48, 323220MDenseNet-2646, 12, 64, 483233M3. 从零手写DenseNet结构与代码逐行对应3.1 先写DenseLayer经典配方的组合学习DenseNet最好的方式就是自己写一遍。下面这段代码是我在PyTorch里常用的DenseNet骨架不是论文实现的完整复刻但足以说明问题。先写一个通用的BNReLUConv组合模块import torch import torch.nn as nn class BN_ReLU_Conv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride1, padding0): super().__init__() self.bn nn.BatchNorm2d(in_channels) self.relu nn.ReLU(inplaceTrue) self.conv nn.Conv2d( in_channels, out_channels, kernel_size, stridestride, paddingpadding, biasFalse ) def forward(self, x): return self.conv(self.relu(self.bn(x)))然后是这个模块的组装产物DenseLayerclass DenseLayer(nn.Module): def __init__(self, in_channels, growth_rate, bottleneck_ratio4, dropout0.0): super().__init__() self.bottleneck BN_ReLU_Conv( in_channels, bottleneck_ratio * growth_rate, 1 ) self.conv3x3 BN_ReLU_Conv( bottleneck_ratio * growth_rate, growth_rate, 3, padding1 ) self.dropout nn.Dropout2d(dropout) if dropout 0 else nn.Identity() def forward(self, x): out self.conv3x3(self.bottleneck(x)) out self.dropout(out) return torch.cat([x, out], dim1)注意torch.cat这行它就是DenseNet的密集所在。每次forward都把输入x和新增的out拼起来下一层看到的通道数就会越来越多。3.2 堆叠DenseBlock与Transition有了DenseLayer之后DenseBlock的实现很直白维护一个ModuleList每新建一个Layer时它的输入通道数要等于in_channels i * growth_rate。class DenseBlock(nn.Module): def __init__(self, num_layers, in_channels, growth_rate, dropout0.0): super().__init__() self.layers nn.ModuleList() for i in range(num_layers): layer DenseLayer( in_channels i * growth_rate, growth_rate, dropoutdropout ) self.layers.append(layer) def forward(self, x): for layer in self.layers: x layer(x) return xTransition层更简单就是BNReLU1x1卷积把通道数从in_channels压缩到out_channels再用平均池化把空间尺寸减半。class Transition(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv BN_ReLU_Conv(in_channels, out_channels, 1) self.pool nn.AvgPool2d(2) def forward(self, x): return self.pool(self.conv(x))3.3 组装DenseNet-121用上面这些组件就可以拼出DenseNet-121。初始stem部分是一层7x7卷积接最大池化然后按6, 12, 24, 16四个Block排列。Block之间Transiton的压缩系数设为0.5也就是DenseNet-BC。class DenseNet(nn.Module): def __init__( self, init_channels64, growth_rate32, block_config(6, 12, 24, 16), compression0.5, num_classes1000, ): super().__init__() self.features nn.Sequential() self.features.add_module(stem_conv, nn.Conv2d(3, init_channels, 7, stride2, padding3, biasFalse)) self.features.add_module(stem_bn, nn.BatchNorm2d(init_channels)) self.features.add_module(stem_relu, nn.ReLU(inplaceTrue)) self.features.add_module(stem_pool, nn.MaxPool2d(3, stride2, padding1)) in_channels init_channels for i, num_layers in enumerate(block_config): block DenseBlock(num_layers, in_channels, growth_rate) self.features.add_module(fdense_block_{i1}, block) in_channels num_layers * growth_rate if i ! len(block_config) - 1: out_channels int(in_channels * compression) self.features.add_module(ftransition_{i1}, Transition(in_channels, out_channels)) in_channels out_channels self.features.add_module(final_bn, nn.BatchNorm2d(in_channels)) self.features.add_module(final_relu, nn.ReLU(inplaceTrue)) self.pool nn.AdaptiveAvgPool2d(1) self.classifier nn.Linear(in_channels, num_classes) def forward(self, x): x self.features(x) x self.pool(x) x torch.flatten(x, 1) return self.classifier(x)这样写出来的是一个能直接跑起来的DenseNet-BC模型。你可以在自己的数据集上改num_classes或者只取features当作一个特征提取器。3.4 前向传播和反向传播的直觉前向传播的过程很直观特征图在通道维度上不断变宽但空间尺寸在Transition层逐级减半。模型最后输出的特征图通道数非常大可是由于全局平均池化的存在送入分类头的只是一个很扁的向量不会因为通道数多而撑爆全连接层。反向传播的时候DenseNet的优势就体现出来了。因为torch.cat把输入x和输出out拼在一起梯度在反向穿过cat节点时会分裂成两条路径一条继续回传给当前层的2个卷积另一条直接传给更早的所有层。这样梯度就有无数条到达浅层的路径哪怕网络到200层前面的卷积也能拿到足够强的更新信号。换句话说DenseNet不是在物理上解决梯度消失而是让梯度能够通过几十条近路绕过中间层直接到达需要的地方。4. 与ResNet对比DenseNet赢在哪里又输在哪里4.1 特征重用 vs 特征残差两种特征学习哲学ResNet和DenseNet都有一个共同点它们都在传统卷积之外增加了跨层连接。但连接方式有本质差异。ResNet用的是加法output F(x) x新特征和旧特征混合在一起共享同一个通道。DenseNet用的是拼接output cat(x, F(x))旧特征不改变新特征单独占据新通道。这个差异带来的影响是ResNet每一层都可以修改旧特征旧信息会被后续层的加法污染DenseNet则把历史信息原封不动地保存下来后面每一层都看到的是完整的历史档案。所以DenseNet里面的特征重用程度远高于ResNet。视觉任务里很多低层边缘、颜色、纹理等通用特征经过ResNet的几十层加法之后早已面目全非而DenseNet则把它们原样保留到分类器之前。4.2 参数效率更少的参数相近的精度单看ImageNet分类结果DenseNet-121只有约8M参数却能达到和ResNet-5025M参数几乎持平的精度。DenseNet-201参数约20M精度反而超过ResNet-50。这种参数效率主要来自特征共享同样的边缘检测器ResNet可能在30个block里各自学一遍DenseNet只需要有一层学出来后面所有层都能直接引用。但这里必须说清楚参数少不等于计算量小。DenseNet的FLOPs并不低因为即使每个block只增加32个通道累积到后面3x3卷积的输入通道数也会很大导致乘加运算量居高不下。所以你会发现DenseNet在GPU上的训练速度和ResNet差不多甚至更慢显存反而更高。参数效率和计算效率是两个维度别混淆。4.3 显存消耗与推理速度被忽视的成本我实际用下来DenseNet最大的坑就是显存。训练时反向传播需要保存每一层卷积的输入特征图。DenseNet因为几乎每一层都在cat保存的中间变量非常多所以显存占用比同精度的ResNet高30%到50%。如果你只有8G显存的卡DenseNet-121的batch size可能只能开到32而ResNet-50能开到64以上。推理速度也一样DenseNet由于通道膨胀导致的卷积计算量增大单张图片的推理时间通常比ResNet更长。在工业界做高并发、低延迟的在线服务时这不是一个可以忽略的问题。所以很多实际落地的项目依然用ResNet作为backbone而不是DenseNet。5. 训练DenseNet的实战经验与常见坑5.1 小数据集上的正则化与数据增强DenseNet在小数据集上表现不错因为参数少、特征重用本身就有一定的正则化效果但该过拟合照样过拟合。我在一个只有几百张医疗影像样本的细分任务上测试过直接训练DenseNet-121比直接训练ResNet-50更稳但仍然需要配合Mixup或者简单随机裁剪翻转来抑制过拟合。第一版跑了50个epoch之后训练集准确率已经接近100%验证集却只有75%这明显是过拟合了。我把权重衰减从1e-4降到5e-5再给每个DenseLayer加0.2的dropout最后验证集涨到81%。对于小数据集我的经验是dropout比调大模型更有效而且运行成本低得多。你也可以试着把growth rate从32降到24相当于手动给模型减负。5.2 BN、Dropout和激活函数的先后顺序DenseNet属于pre-activation设计也就是BN和ReLU放在卷积前面。代码里BN_ReLU_Conv模块清楚地体现了这一点。这个顺序不是随便定的它可以保证梯度在跨层传播时不受BN的影响训练更稳定。如果你改成post-activation模型不是不能train只是收敛速度会变慢尤其是在训练初期。Dropout的位置则更讲究。我建议把Dropout放在DenseLayer最后一个3x3卷积之后、torch.cat之前。这样只会随机丢弃当前层新生成的特征不会影响历史特征。如果放在cat之后Dropout会把之前所有层共享的特征整体置零特征重用直接被破坏效果很差。这个小细节值得记一下很多人在这里翻过车。5.3 显存优化的三个实用手段训练DenseNet最有效的显存优化方法是激活检查点activation checkpointing。PyTorch的torch.utils.checkpoint可以在前向计算时不保存中间激活反向传播时临时重新算一次。代价是训练时间增加约20%-30%显存却能省一半以上。我在实际项目里对DenseNet的四个DenseBlock逐块包上checkpoint8G显存下batch size从24涨到48效果显著。第二招是梯度累积。如果卡上只能跑batch size8那就跑8个step再更新一次等效batch size64。这会延长训练时间但能让你在有限的硬件上尝试更大的有效batch。第三招是混合精度训练。现在主流PyTorch版本里直接用torch.autocast包住前向就基本完成BN层会自动保持FP32不会出现数值稳定性问题。混合精度对DenseNet这种计算量大的模型尤其值得开启提速效果比其他模型更明显。5.4 从零训练还是在预训练模型上微调迁移学习时直接加载ImageNet预训练的DenseNet是省事的做法。但要注意DenseNet的BN层在预训练阶段积累了running mean和running variance微调时的batch size如果很小这些统计量会更新得不稳定导致loss突然乱跳。我在一个目标检测项目里用batch size4微调DenseNet-121训练曲线抖到根本看不下去果断冻结所有BN层只让卷积和分类头参与训练loss马上就稳了。如果你的任务输入分辨率不是224x224而是128x128建议直接用预训练模型把前几层冻结只训练后面几个Block或者干脆从零训练一个growth rate更小的变体。很多医学影像patch的输入尺寸较小强行resize到224可能引入不必要的插值噪声精度不升反降。6. DenseNet的变体、后续影响与今天的选型建议6.1 DenseNet-BC与其他改进变体论文中重点推荐的DenseNet-BCBottleneck Compression现在基本就是DenseNet的代名词。在此基础上后来的研究者还尝试过不少变体有人把3x3卷积换成group convolution减少计算量有人把拼接换成注意力加权让网络自己决定哪个历史特征更重要也有人把DenseNet思想扩展到3D卷积网络用于视频理解。整体上看这些变体很少有全面超越原版的但都验证了密集连接的通用性。我偶尔会手动魔改DenseNet把第一个7x7大卷积替换成3x3卷积叠加因为小输入分辨率下大卷积核感受野没优势或是把最后一个Block的growth rate降低让靠近分类器的特征不要过于冗余。这些改动在特定数据集上会有小幅提升但不稳定最稳的还是直接用原版DenseNet-BC。6.2 从DenseNet走出的思想对后续网络架构的启发DenseNet真正推动的是特征重用这个设计范式。后来的VoVNet专门批判了DenseNet逐层密集连接的效率问题提出只做一次聚合聚合速度和精度平衡更好。EfficientNet在进行神经架构搜索时网络设计中也大量参考了跨层特征复用的思路。即使到了Transformer时代层间残差连接和特征重用背后的动机和DenseNet本质上是一脉相承的。所以我觉得不必纠结DenseNet还够不够新它的价值更多在于提供了一种思考网络结构的模板当梯度传不过去时不一定只能加shortcut当参数冗余时也不一定要砍层数。试试把信息直接广播给后面的所有层可能就有惊喜。6.3 今天做项目DenseNet还值不值得用直接给出我的选型参考使用场景建议数据集几百到几千张、精度优先、显存较充裕DenseNet-BC-121/169大规模数据集、推理速度敏感ResNet或EfficientNet移动端、低功耗设备MobileNetV2/V3目标检测/分割backbone优先ResNetDenseNet用于特征复用调试我个人的经验是DenseNet并不会退出历史舞台但它已经从主角变成了特种兵。遇到小数据、细粒度分类、特征复用需求强烈的任务时把之前跑通的ResNet换成DenseNet试试经常能收获意想不到的精度提升。当然前提是你能接受它更高的显存开销和更慢的推理速度。最后再分享一个实用技巧不管你是做分类还是分割如果要在大模型上尝试DenseNet第一个改动应该是开启激活检查点第二个改动是确认BN的batch size不要太小第三个改动是准备好一份小growth rate的备选配置。这三件事做好DenseNet带来的收益远大于它给你添的麻烦。