一、LeNet-5CNN 的开山鼻祖1.1 诞生背景LeNet-5 由贝尔实验室 Yann LeCun 于 1989 年提出设计初衷非常简单手写数字识别。 在 LeNet 出现前图像识别依靠手工提取特征 传统机器学习SVM 等效率低、泛化能力差。LeNet 首次将卷积 池化 全连接组合成完整可训练网络验证了卷积局部感受野、权值共享的优势是现代 CNN 的雏形。1.2 整体网络结构LeNet-5 分为两大模块特征提取模块2 卷积 2 平均池化分类模块3 层全连接完整数据流输入单通道手写数字图 1×28×28输入层1×28×28 灰度手写数字图片Conv15×5 卷积核6 个通道padding2stride1 → 输出 6×28×28激活 SigmoidAvgPool12×2 平均池化stride2 → 输出 6×14×14Conv25×5 卷积核16 个通道padding0stride1 → 输出 16×10×10激活 SigmoidAvgPool22×2 平均池化stride2 → 输出 16×5×5展平后得到 400 维特征FC1全连接层120 个神经元Sigmoid 激活FC2全连接层84 个神经元Sigmoid 激活FC3输出层10 个神经元Softmax 输出 0-9 数字分类概率1.3 核心特点与总结基础范式定型确立「卷积 - 激活 - 池化」基础单元成为后续所有 CNN 的标准组合数据维度规范卷积层输出 4 维张量(Batch, Channel, Width, Height)全连接转为 2 维(Batch, FeatureLength)局限明显使用 Sigmoid 激活易梯度消失平均池化弱化特征细节网络层数浅仅适配小尺寸灰度手写数字无法处理复杂彩色大图历史意义首个实用卷积神经网络奠定卷积神经网络整体架构思路。二、AlexNet引爆深度学习的划时代网络2.1 诞生背景LeNet 虽然开创 CNN但在 90 年代至 2012 年间神经网络性能长期被 SVM 等传统算法压制浅层网络无法拟合复杂图像、Sigmoid 梯度消失、硬件算力不足、数据集规模受限。 2012 年 ILSVRC ImageNet 图像分类大赛AlexNet 横空出世错误率远低于第二名直接证明深度 CNN 在大规模彩色图像任务上的碾压性优势深度学习自此成为计算机视觉主流。2.2 完整网络层级结构输入为彩色图像 3×227×224总计 8 层可训练层5 卷积 3 全连接输入层3 通道彩色图 227×227×3Conv111×11 大卷积核96 通道stride4 → 55×55×96ReLU 激活MaxPool13×3 最大池化stride2 → 27×27×96Conv25×5 卷积256 通道padding2 → 27×27×256ReLU 激活MaxPool23×3 最大池化stride2 → 13×13×256Conv33×3 卷积384 通道padding1 →13×13×384Conv43×3 卷积384 通道padding1 →13×13×384Conv53×3 卷积256 通道padding1 →13×13×256MaxPool33×3 最大池化stride2 →6×6×256展平得到 9216 维特征FC14096 神经元ReLUDropout 随机失活FC24096 神经元ReLUDropout 随机失活FC31000 神经元Softmax 输出 ImageNet 1000 类物体分类2.3 AlexNet 划时代创新点核心突破1. ReLU 替代 Sigmoid解决梯度消失LeNet 使用 Sigmoid深层网络反向传播时梯度指数衰减难以训练深层模型ReLU 激活收敛速度更快有效缓解梯度消失让深度网络训练成为可能。2. 重叠最大池化替换平均池化放弃 LeNet 的平均池化改用3×3 池化核、stride2池化窗口相互重叠保留更多纹理细节避免平均池化带来的特征模糊提升特征表达能力。3. Dropout 抑制过拟合训练时随机临时丢弃一半隐藏神经元阻止神经元之间过度依赖大幅降低过拟合推理阶段恢复全部神经元该方法后续成为通用正则化手段。4. 海量数据增强扩充训练样本三种图像扩增策略增加数据多样性减少过拟合水平翻转随机左右翻转图像随机裁剪原图随机截取局部区域缩放至标准尺寸PCA 色彩抖动对 RGB 通道做特征分解随机扰动像素色彩模拟光照变化。5. LRN 局部响应归一化对相邻通道特征做归一化放大显著特征、提升局部对比度小幅提升分类精度后续 VGG、ResNet 证明其增益有限逐渐被 BN 层替代。6. 多 GPU 并行训练网络拆分至两块 GPU 并行计算大幅缩短训练时间为超大深度网络训练提供硬件落地思路。2.4 AlexNet 整体总结架构进化网络更深、通道数递增、卷积核由大到小11×11→5×5→3×3适配 227 尺寸彩色大图总参数量约 6000 万行业变革彻底击败传统机器学习算法确立 CNN 在图像分类领域的统治地位VGG、GoogLeNet、ResNet 等后续网络均基于 AlexNet 的设计思路迭代实用创新ReLU、Dropout、数据增强三大技术沿用至今是深度学习训练的标配方案。三、LeNet-5 vs AlexNet核心差异对比表格对比维度LeNet-5AlexNet诞生时间1989 年2012 年适用场景手写数字灰度图小数据集ImageNet 彩色大图百万级大数据网络深度浅网络2 卷积 3 全连接深度网络5 卷积 3 全连接激活函数Sigmoid易梯度消失ReLU加速收敛池化方式平均池化重叠最大池化正则化手段无Dropout、LRN、数据增强输入图像单通道 28×28 灰度图三通道 227×227 彩色图输出分类数10 类数字1000 类自然物体参数量极少约 6000 万硬件依赖无 GPU 需求双 GPU 并行训练四、发展脉络总结LeNet-5 完成CNN 从 0 到 1提出卷积、池化、全连接的基础框架证明卷积局部特征提取的有效性但受限于激活函数、算力、数据集无法应用于复杂场景AlexNet 完成CNN 从 1 到爆发通过 ReLU、Dropout、数据增强、GPU 并行等一系列创新解决深层网络训练难题向业界证明深度学习的巨大潜力开启计算机视觉黄金时代传承关系AlexNet 沿用 LeNet「卷积提取特征 全连接完成分类」的核心思想只是在网络深度、激活、池化、正则、数据处理上做全面升级二者串联起 CNN 完整进化起点。